Hírszerkesztőség

Történet

Egy nemzetközi hírügynökség szerkesztősége naponta több ezer cikket kezel különböző területekről: gazdaság, politika, tudomány, technológia és környezet. Az információk gyors archiválása és terjesztése érdekében minden cikket egy tematikus kategóriába kell sorolni.

Egy technikai hiba miatt néhány friss cikk címkéje elveszett. A szerkesztőség hozzád fordul, hogy építs egy intelligens rendszert, amely képes automatikusan osztályozni a hírcikkeket a tartalmuk alapján.

Feladat

Két bemeneti fájl adott:

• train.csv – olyan hírcikkeket tartalmaz, amelyeknek a kategóriája ismert
• test.csv – kategória nélküli hírcikkeket tartalmaz

Minden cikket egy egyedi id azonosít, és van hozzá tartozó szöveg.
A train.csv adatait felhasználva építened kell egy osztályozó modellt, amely megjósolja minden test.csv-beli cikk címkéjét (label).

Az eredményt egy submission.csv fájlba kell menteni.

Fájlformátumok

train.csv

A következő oszlopokat tartalmazza:

• id – a cikk egyedi azonosítója (string, pl. 000001)
• text – a cikk tartalma
• label – a cikk kategóriája (egész szám)

Példa:

1id,text,label2000001,"Wall St. Bears Claw Back Into the Black (Reuters)...",23000002,"Carlyle Looks Toward Commercial Aerospace (Reuters)...",24000003,"Oil and Economy Cloud Stocks' Outlook (Reuters)...",2

test.csv

A következő oszlopokat tartalmazza:

• id – egyedi azonosító
• text – a cikk tartalma

Példa:

1id,text2120001,"Fears for T N pension after talks Unions represent..."3120002,"The Race is On: Second Private Team Sets Launch..."4120003,"Ky. Company Wins Grant to Study Peptides (AP)..."

submission.csv

A beküldésre generált fájlnak csv formátumúnak kell lennie és a következőket kell tartalmaznia:

• id – a cikk azonosítója
• label – a megjósolt kategória

Példa:

1id,label2120001,23120002,34120003,3

Megjegyzések

• A címkék egész számértékek, jelentésüket kizárólag a train.csv-ből kell kitalálni.
• Bármilyen természetes nyelvfeldolgozási és gépi tanulási módszer megengedett.
• A megoldások értékelése a jóslatok pontossága alapján történik.

Értékelés

A jóslatokat összehasonlítják a valós címkékkel és kiszámítják a pontosságot:

1accuracy = (helyes_jóslatok_száma / összes_jóslat_száma)

A végső pontszám a kapott pontosság alapján kerül kiszámításra a következő szabályok szerint:

• accuracy ≥ 0.98 → 100 pont
• accuracy ≤ 0.9 → 0 pont
• A köztes értékekre 0 és 100 között arányosan kerül pontszám kiosztásra.