Nieuwsredactie

Verhaal

De redactie van een internationaal persbureau beheert dagelijks duizenden artikelen uit verschillende domeinen: economie, politiek, wetenschap, technologie en milieu. Om informatie snel te kunnen archiveren en distribueren, moet elk artikel worden ingedeeld in een thematische categorie.

Door een technische storing zijn de labels van enkele recente artikelen verloren gegaan. De redactie doet een beroep op jou om een intelligent systeem te bouwen dat nieuwsartikelen automatisch kan classificeren op basis van hun inhoud.

Opdracht

Er worden twee invoerbestanden gegeven:

• train.csv – bevat nieuwsartikelen waarvan de categorie bekend is
• test.csv – bevat nieuwsartikelen zonder categorie

Elk artikel wordt geïdentificeerd door een unieke id en heeft een bijbehorende tekst.
Met behulp van de gegevens uit train.csv moet je een classificatiemodel bouwen dat het label (label) van elk artikel uit test.csv voorspelt.

Het resultaat wordt opgeslagen in een bestand submission.csv.

Bestandsformaat

train.csv

Bevat de volgende kolommen:

• id – unieke identificator van het artikel (string, bijv. 000001)
• text – inhoud van het artikel
• label – categorie van het artikel (geheel getal)

Voorbeeld:

1id,text,label2000001,"Wall St. Bears Claw Back Into the Black (Reuters)...",23000002,"Carlyle Looks Toward Commercial Aerospace (Reuters)...",24000003,"Oil and Economy Cloud Stocks' Outlook (Reuters)...",2

test.csv

Bevat de volgende kolommen:

• id – unieke identificator
• text – inhoud van het artikel

Voorbeeld:

1id,text2120001,"Fears for T N pension after talks Unions represent..."3120002,"The Race is On: Second Private Team Sets Launch..."4120003,"Ky. Company Wins Grant to Study Peptides (AP)..."

submission.csv

Het gegenereerde bestand voor indiening moet in csv-formaat zijn en het volgende bevatten:

• id – identificator van het artikel
• label – voorspelde categorie

Voorbeeld:

1id,label2120001,23120002,34120003,3

Opmerkingen

• De labels zijn numerieke gehele getallen, en hun betekenis moet uitsluitend worden afgeleid uit train.csv.
• Alle methoden voor natuurlijke taalverwerking en machine learning zijn toegestaan.
• De evaluatie van oplossingen gebeurt op basis van de nauwkeurigheid van de voorspellingen.

Evaluatie

De voorspellingen worden vergeleken met de werkelijke labels en de nauwkeurigheid wordt berekend:

1accuracy = (aantal_juiste_voorspellingen / totaal_aantal_voorspellingen)

De eindscore wordt berekend op basis van de behaalde nauwkeurigheid met behulp van de volgende regels:

• accuracy ≥ 0.98 → 100 punten
• accuracy ≤ 0.9 → 0 punten
• Voor tussenliggende waarden wordt een proportionele score tussen 0 en 100 toegekend.