Chirper og Melon Husks imperium (Y)

Chirper og Melon Husks imperium (Y)

Kontekst

I en parallel verden af sociale netværk er Chirper den mest populære platform for mikrobeskeder.
For nylig blev platformen købt af den berømte (og let excentriske) Melon Husk, som har besluttet at rebrande den under navnet Y.

For at gøre Y renere og mere venligt, beder Melon Husk dit data science-team om at bygge en klassifikationsmodel, der automatisk kan opdage problematiske chirps (spam, irrelevant indhold eller støj), så disse kan filtreres fra feedet.

Du har modtaget et sæt historiske chirps og skal bygge en model,
der kan klassificere nye chirps.

Du har fået stillet to filer til rådighed:

• train.csv – historiske chirps med etiketten label (problematic = 1 / normal = 0)
• test.csv – nye chirps, uden etiket

Hovedformål: forudsigelse af sandsynligheden for at et chirp er problematisk
(værdi mellem 0 og 1, hvor 0 = chirp sikkert normalt, 1 = chirp sikkert problematisk).

📊 Datasættet

Hver række repræsenterer et chirp publiceret på Chirper Y, med følgende attributter:

• id – unik identifikator for chirpet
• chirp – chirpets tekst
• label – kun i train.csv, 1 (problematisk) / 0 (normal)

Endemål: forudsig label for rækkerne i test.csv.

📝 Opgaver

De første to subtasks verificerer simpel analyse af chirps.
Det sidste subtask evaluerer klassifikationsmodellens performance.

Subtask 1 (10 point)

Bestem længden af hvert chirp som antal tegn.

Vis for dette subtask et heltal.

Subtask 2 (15 point)

Tæl hvor mange forekomster af tegnet # der findes i chirpet
(vigtig indikator for overdrevne hashtags, elsket af spammere 😄).

Subtask 3 (75 point)

Byg en klassifikationsmodel, der forudsiger sandsynligheden for at et chirp
er problematisk (p ∈ [0,1]) for hver række i test.

Evaluering sker ved hjælp af ROC curve og AUC (Area Under the ROC Curve).

🧮 Evaluering

• AUC ≥ 0.95 → 75 point
• AUC ≤ 0.80 → 0 point
• Intervallet mellem dem: proportional score

Subtasks 1–2 evalueres nøjagtigt (ved sammenligning).

📄 Format for indsendelsesfile

Filen submission.csv skal indeholde 3 linjer for hver række i test,
svarende til de 3 subtasks.

Struktur:

1subtaskID,datapointID,answer

hvor:

hvor:

• subtaskID – 1, 2 eller 3
• datapointID – værdien id
• answer – afhænger af opgaven:
  • Subtask 1: chirpets længde (heltal)
  • Subtask 2: antal forekomster af tegnet # (heltal)
  • Subtask 3: sandsynligheden for at chirpet er problematisk (reelt tal 0–1)

Eksempel for id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Evalueringsmetrik: ROC AUC 📈

For Subtask 3 sker evalueringen ved hjælp af ROC AUC (Area Under the ROC Curve).
Dette er et unikt mål, der sammenfatter en klassifikators performance
for alle mulige beslutningsgrænser.

Hvordan beregnes ROC AUC?

1. ROC-kurven tegnes, som repræsenterer:

   • TPR (True Positive Rate) – andelen af problematiske chirps opdaget korrekt
   • FPR (False Positive Rate) – andelen af normale chirps fejlagtigt markeret som problematiske

2. Arealet under kurven (AUC) beregnes ved hjælp af trapezreglen:

   • Kurven opdeles i trapezer ved hjælp af de lodrette linjer ved FPR-værdierne
     og de vandrette linjer ved TPR-værdierne
   • Trapezernes arealer lægges sammen for at få den endelige AUC-værdi

3. Fortolkning af scoren:

   • ROC AUC = 1 🏆 → perfekt klassifikator, Y bliver Melon Husks drøm
   • ROC AUC = 0.5 🎲 → tilfældig klassifikator, lige så nyttig som en afstemning på Chirper
   • 0.5 < ROC AUC < 1 📈 → hvor godt modellen adskiller normale fra problematiske chirps