Chirper och Melon Husks imperium (Y)

Chirper och Melon Husks imperium (Y)

Kontext

I en parallell värld av sociala nätverk är Chirper den mest populära plattformen för mikro-meddelanden.
Nyligen köptes plattformen av den berömda (och något excentriska) Melon Husk, som bestämde sig för att rebrandinga den under namnet Y.

För att göra Y renare och vänligare ber Melon Husk ditt data science-team att bygga en klassificeringsmodell som automatiskt kan upptäcka problematiska chirp (spam, irrelevant innehåll eller brus), så att dessa kan filtreras från flödet.

Du har fått en uppsättning historiska chirp och behöver bygga en modell
som kan klassificera nya chirp.

Du har fått tillgång till två filer:

• train.csv – historiska chirp med etiketten label (problematic = 1 / normal = 0)
• test.csv – nya chirp, utan etikett

Huvudsyftet: förutsäga sannolikheten att ett chirp är problematiskt
(värde mellan 0 och 1, där 0 = säkert normalt chirp, 1 = säkert problematiskt chirp).

📊 Datasetet

Varje rad representerar ett chirp publicerat på Chirper Y, med följande attribut:

• id – unik identifierare för chirpet
• chirp – chirpets text
• label – endast i train.csv, 1 (problematiskt) / 0 (normalt)

Slutmålet: förutsäg label för raderna i test.csv.

📝 Uppgifter

De första två deluppgifterna verifierar enkel analys av chirp.
Den sista deluppgiften utvärderar klassificeringsmodellens prestanda.

Deluppgift 1 (10 poäng)

Bestäm längden på varje chirp som antal tecken.

Visa för denna deluppgift ett heltal.

Deluppgift 2 (15 poäng)

Räkna hur många förekomster av tecknet # som finns i chirpet
(viktig indikator för överdrivna hashtags, älskade av spammare 😄).

Deluppgift 3 (75 poäng)

Bygg en klassificeringsmodell som förutsäger sannolikheten att ett chirp
är problematiskt (p ∈ [0,1]) för varje rad i test.

Utvärderingen görs med ROC-kurva och AUC (Area Under the ROC Curve).

🧮 Utvärdering

• AUC ≥ 0.95 → 75 poäng
• AUC ≤ 0.80 → 0 poäng
• Intervallet däremellan: proportionell poäng

Deluppgifter 1–2 utvärderas exakt (genom jämförelse).

📄 Format för inlämningsfilen

Filen submission.csv måste innehålla 3 rader för varje rad i test,
motsvarande de 3 deluppgifterna.

Struktur:

1subtaskID,datapointID,answer

där:

där:

• subtaskID – 1, 2 eller 3
• datapointID – värdet id
• answer – beror på uppgift:
  • Deluppgift 1: chirpets längd (heltal)
  • Deluppgift 2: antal förekomster av tecknet # (heltal)
  • Deluppgift 3: sannolikheten att chirpet är problematiskt (reellt tal 0–1)

Exempel för id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Utvärderingsmått: ROC AUC 📈

För Deluppgift 3 görs utvärderingen med ROC AUC (Area Under the ROC Curve).
Detta är ett unikt mått som sammanfattar en klassificerares prestanda
för alla möjliga beslutströsklar.

Hur beräknas ROC AUC?

1. ROC-kurvan ritas, som representerar:

   • TPR (True Positive Rate) – andelen problematiska chirp som upptäcks korrekt
   • FPR (False Positive Rate) – andelen normala chirp som felaktigt markeras som problematiska

2. Arean under kurvan (AUC) beräknas med trapetsregeln:

   • Kurvan delas in i trapetser med vertikala linjer vid FPR-värdena
     och horisontella linjer vid TPR-värdena
   • Trapetsernas areor adderas för att få det slutliga AUC-värdet

3. Tolkning av poängen:

   • ROC AUC = 1 🏆 → perfekt klassificerare, Y blir Melon Husks dröm
   • ROC AUC = 0.5 🎲 → slumpmässig klassificerare, lika användbar som en poll på Chirper
   • 0.5 < ROC AUC < 1 📈 → hur väl modellen separerar normala från problematiska chirp