Uudisteredaktsioon

Lugu

Rahvusvahelise pressiagentuur toimetuse haldab igapäevaselt tuhandeid artikleid erinevatest valdkondadest: majandus, poliitika, teadus, tehnoloogia ja keskkond. Et saaks teavet kiiresti arhiveerida ja levitada, tuleb iga artikkel paigutada temaatilisse kategooriasse.

Tehnilise rikke tõttu on mõnede hiljutiste artiklite sildid kaduma läinud. Toimetuse pöördub sinu poole, et ehitada intelligentne süsteem, mis suudaks uudisartikleid automaatselt klassifitseerida nende sisu põhjal.

Ülesanne

Antud on kaks sisendfaili:

• train.csv – sisaldab uudisartikleid, mille kategooria on teada
• test.csv – sisaldab uudisartikleid ilma kategooriata

Iga artikkel on identifitseeritud unikaalse id-ga ja sellel on seotud tekst.
Kasutades andmeid failist train.csv, tuleb ehitada klassifitseerimismudel, mis ennustab iga artikli silti (label) failist test.csv.

Tulemus salvestatakse faili submission.csv.

Failide formaat

train.csv

Sisaldab järgmisi veerge:

• id – artikli unikaalne identifikaator (string, nt 000001)
• text – artikli sisu
• label – artikli kategooria (täisarv)

Näide:

1id,text,label2000001,"Wall St. Bears Claw Back Into the Black (Reuters)...",23000002,"Carlyle Looks Toward Commercial Aerospace (Reuters)...",24000003,"Oil and Economy Cloud Stocks' Outlook (Reuters)...",2

test.csv

Sisaldab järgmisi veerge:

• id – unikaalne identifikaator
• text – artikli sisu

Näide:

1id,text2120001,"Fears for T N pension after talks Unions represent..."3120002,"The Race is On: Second Private Team Sets Launch..."4120003,"Ky. Company Wins Grant to Study Peptides (AP)..."

submission.csv

Esitamiseks genereeritud fail peab olema csv formaadis ja sisaldama järgmist:

• id – artikli identifikaator
• label – ennustatud kategooria

Näide:

1id,label2120001,23120002,34120003,3

Märkused

• Sildid on täisarvulised väärtused ja nende tähendus tuleb tuletada ainuüksi failist train.csv.
• Lubatud on kõik loomuliku keele töötlemise ja masinõppe meetodid.
• Lahenduste hindamine toimub ennustuste täpsuse alusel.

Hindamine

Ennustusi võrreldakse tegelike siltidega ja arvutatakse täpsus:

1accuracy = (õigete_ennustuste_arv / ennustuste_koguarv)

Lõppskoor arvutatakse saavutatud täpsuse alusel järgmiste reeglite järgi:

• accuracy ≥ 0.98 → 100 punkti
• accuracy ≤ 0.9 → 0 punkti
• Vahepealsete väärtuste puhul antakse proportsionaalne punktisumma 0 ja 100 vahel.