Uutistoimituksen työ

Tarina

Kansainvälisen uutistoimiston toimituskunta hallinnoi päivittäin tuhansia artikkeleita eri aloilta: talous, politiikka, tiede, teknologia ja ympäristö. Jotta tiedot voidaan arkistoida ja jakaa nopeasti, jokainen artikkeli on luokiteltava temaattiseen kategoriaan.

Teknisen vian vuoksi joidenkin viimeaikaisten artikkeleiden etiketit ovat kadonneet. Toimituskunta pyytää sinua rakentamaan älykkään järjestelmän, joka pystyy luokittelemaan uutisartikkelit automaattisesti niiden sisällön perusteella.

Vaatimus

Annetaan kaksi syötetiedostoa:

• train.csv – sisältää uutisartikkelit, joiden kategoria on tiedossa
• test.csv – sisältää uutisartikkelit ilman kategoriaa

Jokainen artikkeli tunnistetaan yksilöllisellä id:llä ja siihen liittyy teksti.
Käyttäen train.csv:n tietoja, sinun tulee rakentaa luokittelumalli, joka ennustaa jokaisen test.csv:n artikkelin etiketin (label).

Tulos tallennetaan tiedostoon submission.csv.

Tiedostomuodot

train.csv

Sisältää seuraavat sarakkeet:

• id – artikkelin yksilöllinen tunniste (merkkijono, esim. 000001)
• text – artikkelin sisältö
• label – artikkelin kategoria (kokonaisluku)

Esimerkki:

1id,text,label2000001,"Wall St. Bears Claw Back Into the Black (Reuters)...",23000002,"Carlyle Looks Toward Commercial Aerospace (Reuters)...",24000003,"Oil and Economy Cloud Stocks' Outlook (Reuters)...",2

test.csv

Sisältää seuraavat sarakkeet:

• id – yksilöllinen tunniste
• text – artikkelin sisältö

Esimerkki:

1id,text2120001,"Fears for T N pension after talks Unions represent..."3120002,"The Race is On: Second Private Team Sets Launch..."4120003,"Ky. Company Wins Grant to Study Peptides (AP)..."

submission.csv

Palautusta varten luotu tiedosto tulee olla csv-muodossa ja sisältää seuraavat:

• id – artikkelin tunniste
• label – ennustettu kategoria

Esimerkki:

1id,label2120001,23120002,34120003,3

Huomautukset

• Etiketit ovat kokonaislukuarvoja, ja niiden merkitys tulee päätellä yksinomaan train.csv:stä.
• Kaikki luonnollisen kielen käsittelyn ja koneoppimisen menetelmät ovat sallittuja.
• Ratkaisujen arviointi perustuu ennusteiden tarkkuuteen.

Arviointi

Ennustuksia verrataan todellisiin etiketteihiin ja lasketaan tarkkuus:

1accuracy = (oikeiden_ennusteiden_määrä / ennusteiden_kokonaismäärä)

Lopullinen pistemäärä lasketaan saavutetun tarkkuuden perusteella seuraavien sääntöjen mukaisesti:

• accuracy ≥ 0.98 → 100 pistettä
• accuracy ≤ 0.9 → 0 pistettä
• Väliarvoille annetaan suhteellinen pistemäärä 0:n ja 100:n väliltä.