Chirper en het rijk van Melon Husk (Y)

Chirper en het imperium van Melon Husk (Y)

Context

In een parallelle wereld van sociale netwerken is Chirper het meest populaire platform voor micro-berichten.
Onlangs werd het platform gekocht door de beroemde (en licht excentrieke) Melon Husk, die besloot het te herbranden onder de naam Y.

Om Y schoner en vriendelijker te maken, vraagt Melon Husk jouw data science team om een classificatiemodel te bouwen dat automatisch problematische chirps (spam, irrelevante inhoud of ruis) detecteert, zodat deze uit de feed gefilterd kunnen worden.

Je hebt een set historische chirps ontvangen en moet een model bouwen
dat nieuwe chirps kan classificeren.

Er zijn twee bestanden ter beschikking gesteld:

• train.csv – historische chirps met het label label (problematic = 1 / normal = 0)
• test.csv – nieuwe chirps, zonder label

Hoofddoel: voorspelling van de waarschijnlijkheid dat een chirp problematisch is
(waarde tussen 0 en 1, waarbij 0 = chirp zeker normaal, 1 = chirp zeker problematisch).

📊 De dataset

Elke rij vertegenwoordigt een chirp gepubliceerd op Chirper Y, met de volgende attributen:

• id – unieke identificator van de chirp
• chirp – de tekst van de chirp
• label – alleen in train.csv, 1 (problematisch) / 0 (normaal)

Einddoel: voorspel label voor de rijen in test.csv.

📝 Taken

De eerste twee subtaken controleren eenvoudige analyse van chirps.
De laatste subtaak evalueert de prestatie van het classificatiemodel.

Subtaak 1 (10 punten)

Bepaal de lengte van elke chirp als aantal karakters.

Toon voor deze subtaak een geheel getal.

Subtaak 2 (15 punten)

Tel hoeveel keer het karakter # voorkomt in de chirp
(belangrijke indicator voor excessieve hashtags, geliefd door spammers 😄).

Subtaak 3 (75 punten)

Bouw een classificatiemodel dat de waarschijnlijkheid voorspelt dat een chirp
problematisch is (p ∈ [0,1]) voor elke rij in test.

De evaluatie gebeurt met behulp van ROC curve en AUC (Area Under the ROC Curve).

🧮 Evaluatie

• AUC ≥ 0.95 → 75 punten
• AUC ≤ 0.80 → 0 punten
• Het interval ertussen: proportionele score

Subtaken 1–2 worden exact geëvalueerd (door vergelijking).

📄 Formaat van het inleverbestand

Het bestand submission.csv moet 3 regels voor elke rij in test bevatten,
overeenkomend met de 3 subtaken.

Structuur:

1subtaskID,datapointID,answer

waarbij:

waarbij:

• subtaskID – 1, 2 of 3
• datapointID – de waarde van id
• answer – afhankelijk van de taak:
  • Subtaak 1: lengte van de chirp (geheel getal)
  • Subtaak 2: aantal keren dat het karakter # voorkomt (geheel getal)
  • Subtaak 3: waarschijnlijkheid dat de chirp problematisch is (reëel getal 0–1)

Voorbeeld voor id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Evaluatiemetriek: ROC AUC 📈

Voor Subtaak 3 gebeurt de evaluatie met behulp van ROC AUC (Area Under the ROC Curve).
Dit is een unieke maat die de prestatie van een classificator
samenvat voor alle mogelijke beslissingsdrempels.

Hoe wordt ROC AUC berekend?

1. De ROC-curve wordt getekend, die weergeeft:

   • TPR (True Positive Rate) – proportie van problematische chirps correct gedetecteerd
   • FPR (False Positive Rate) – proportie van normale chirps ten onrechte gemarkeerd als problematisch

2. Het gebied onder de curve (AUC) wordt berekend met behulp van de trapeziumregel:

   • De curve wordt verdeeld in trapeziums met behulp van verticale lijnen bij de FPR-waarden
     en horizontale lijnen bij de TPR-waarden
   • De oppervlaktes van de trapeziums worden opgeteld om de eindwaarde van AUC te verkrijgen

3. Interpretatie van de score:

   • ROC AUC = 1 🏆 → perfecte classificator, Y wordt Melon Husk's droom
   • ROC AUC = 0.5 🎲 → willekeurige classificator, net zo nuttig als een poll op Chirper
   • 0.5 < ROC AUC < 1 📈 → hoe goed het model normale van problematische chirps scheidt