Chirper a impérium Melona Huska (Y)

Chirper a impérium Melon Husk (Y)

Kontext

V paralelnom svete sociálnych sietí je Chirper najpopulárnejšou platformou pre mikro-správy.
Nedávno bola platforma kúpená slávnym (a mierne excentrickým) Melon Husk, ktorý sa rozhodol ju rebrandovať pod názvom Y.

Aby urobil Y čistejším a priateľskejším, Melon Husk žiada od tvojho data science tímu, aby vytvoril klasifikačný model, ktorý automaticky detekuje problematické chirp-y (spam, irelevantný obsah alebo šum), aby mohli byť odfiltrované z feedu.

Dostal si sadu historických chirp-ov a musíš vytvoriť model
ktorý dokáže klasifikovať nové chirp-y.

Boli ti poskytnuté dva súbory:

• train.csv – historické chirp-y s označením label (problematic = 1 / normal = 0)
• test.csv – nové chirp-y, bez označenia

Hlavný cieľ: predikcia pravdepodobnosti, že chirp je problematický
(hodnota medzi 0 a 1, kde 0 = chirp určite normálny, 1 = chirp určite problematický).

📊 Dátová sada

Každý riadok predstavuje chirp publikovaný na Chirper Y, s nasledujúcimi atribútmi:

• id – jedinečný identifikátor chirp-u
• chirp – text chirp-u
• label – len v train.csv, 1 (problematický) / 0 (normálny)

Konečný cieľ: predpovedať label pre riadky v test.csv.

📝 Úlohy

Prvé dva subtask-y overujú jednoduchú analýzu chirp-ov.
Posledný subtask hodnotí výkonnosť klasifikačného modelu.

Subtask 1 (10 bodov)

Urči dĺžku každého chirp-u ako počet znakov.

Zobraz pre tento subtask celé číslo.

Subtask 2 (15 bodov)

Spočítaj koľko výskytov znaku # existuje v chirp-e
(dôležitý indikátor pre nadmerné hashtag-y, obľúbené spammermi 😄).

Subtask 3 (75 bodov)

Vytvorte klasifikačný model, ktorý predpovedá pravdepodobnosť, že chirp
je problematický (p ∈ [0,1]) pre každý riadok z test-u.

Hodnotenie sa vykonáva pomocou ROC krivky a AUC (Area Under the ROC Curve).

🧮 Hodnotenie

• AUC ≥ 0.95 → 75 bodov
• AUC ≤ 0.80 → 0 bodov
• Interval medzi nimi: proporcionálne bodovanie

Subtask-y 1–2 sa hodnotia presne (porovnaním).

📄 Formát súboru na odovzdanie

Súbor submission.csv musí obsahovať 3 riadky pre každý riadok z test-u,
zodpovedajúce 3 subtask-om.

Štruktúra:

1subtaskID,datapointID,answer

kde:

kde:

• subtaskID – 1, 2 alebo 3
• datapointID – hodnota id
• answer – závisí od úlohy:
  • Subtask 1: dĺžka chirp-u (celé číslo)
  • Subtask 2: počet výskytov znaku # (celé číslo)
  • Subtask 3: pravdepodobnosť, že chirp je problematický (reálne číslo 0–1)

Príklad pre id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Metrika hodnotenia: ROC AUC 📈

Pre Subtask 3 sa hodnotenie vykonáva pomocou ROC AUC (Area Under the ROC Curve).
Toto je jedinečná miera, ktorá syntetizuje výkonnosť klasifikátora
pre všetky možné prahy rozhodnutia.

Ako sa vypočítava ROC AUC?

1. Nakreslí sa ROC krivka, ktorá reprezentuje:

   • TPR (True Positive Rate) – podiel problematických chirp-ov správne detekovaných
   • FPR (False Positive Rate) – podiel normálnych chirp-ov nesprávne označených ako problematické

2. Plocha pod krivkou (AUC) sa vypočítava pomocou pravidla lichobežníkov:

   • Krivka je rozdelená na lichobežníky pomocou vertikálnych čiar pri hodnotách FPR
     a horizontálnych čiar pri hodnotách TPR
   • Sčítajú sa plochy lichobežníkov na získanie konečnej hodnoty AUC

3. Interpretácia skóre:

   • ROC AUC = 1 🏆 → perfektný klasifikátor, Y sa stane snom Melon Husk
   • ROC AUC = 0.5 🎲 → náhodný klasifikátor, rovnako užitočný ako poll na Chirper
   • 0.5 < ROC AUC < 1 📈 → ako dobre model oddeľuje normálne chirp-y od problematických