Chirper i carstvo Melon Husk-a (Y)

Chirper i carstvo Melon Husk-a (Y)

Kontekst

U paralelnom svetu društvenih mreža, Chirper je najpopularnija platforma za mikro-poruke.
Nedavno je platformu kupio čuveni (i pomalo ekscentrični) Melon Husk, koji je odlučio da je rebrendira pod imenom Y.

Da bi učinio Y čišćim i prijateljskijim, Melon Husk traži od vašeg tima za data science da izgradi model klasifikacije koji automatski detektuje problematične chirp-ove (spam, irelevantni sadržaj ili šum), tako da mogu biti filtrirani iz feed-a.

Dobili ste skup istorijskih chirp-ova i trebate da izgradite model
koji može da klasifikuje nove chirp-ove.

Na raspolaganju su vam dva fajla:

• train.csv – istorijski chirp-ovi sa etiketom label (problematic = 1 / normal = 0)
• test.csv – novi chirp-ovi, bez etikete

Glavni cilj: predikcija verovatnoće da je chirp problematičan
(vrednost između 0 i 1, gde je 0 = chirp sigurno normalan, 1 = chirp sigurno problematičan).

📊 Skup podataka

Svaki red predstavlja chirp objavljen na Chirper Y, sa sledećim atributima:

• id – jedinstveni identifikator chirp-a
• chirp – tekst chirp-a
• label – samo u train.csv, 1 (problematičan) / 0 (normalan)

Finalni cilj: predvideti label za redove iz test.csv.

📝 Zadaci

Prva dva podzadatka proveravaju jednostavnu analizu chirp-ova.
Poslednji podzadatak evaluira performanse modela klasifikacije.

Podzadatak 1 (10 poena)

Odrediti dužinu svakog chirp-a kao broj karaktera.

Prikazati za ovaj podzadatak ceo broj.

Podzadatak 2 (15 poena)

Prebrojati koliko pojavljivanja karaktera # postoji u chirp-u
(važan indikator za prekomerne hashtag-ove, omiljene kod spamer-a 😄).

Podzadatak 3 (75 poena)

Izgraditi model klasifikacije koji predviđa verovatnoću da je chirp
problematičan (p ∈ [0,1]) za svaki red iz test-a.

Evaluacija se vrši koristeći ROC krivu i AUC (Area Under the ROC Curve).

🧮 Evaluacija

• AUC ≥ 0.95 → 75 poena
• AUC ≤ 0.80 → 0 poena
• Interval između njih: proporcionalni broj poena

Podzadaci 1–2 se evaluiraju tačno (poređenjem).

📄 Format fajla za submisiju

Fajl submission.csv treba da sadrži 3 linije za svaki red iz test-a,
koje odgovaraju 3 podzadatka.

Struktura:

1subtaskID,datapointID,answer

gde:

gde:

• subtaskID – 1, 2 ili 3
• datapointID – vrednost id
• answer – zavisi od zadatka:
  • Podzadatak 1: dužina chirp-a (ceo broj)
  • Podzadatak 2: broj pojavljivanja karaktera # (ceo broj)
  • Podzadatak 3: verovatnoća da je chirp problematičan (realan broj 0–1)

Primer za id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Metrika evaluacije: ROC AUC 📈

Za Podzadatak 3, evaluacija se vrši koristeći ROC AUC (Area Under the ROC Curve).
Ovo je jedinstvena mera koja sintetiše performanse klasifikatora
za sve moguće pragove odlučivanja.

Kako se računa ROC AUC?

1. Crta se ROC kriva, koja predstavlja:

   • TPR (True Positive Rate) – proporciju problematičnih chirp-ova ispravno detektovanih
   • FPR (False Positive Rate) – proporciju normalnih chirp-ova pogrešno označenih kao problematični

2. Površina ispod krive (AUC) se računa koristeći pravilo trapeza:

   • Kriva se deli na trapeze koristeći vertikalne linije na vrednostima FPR
     i horizontalne linije na vrednostima TPR
   • Sabiru se površine trapeza da bi se dobila finalna vrednost AUC

3. Interpretacija skora:

   • ROC AUC = 1 🏆 → savršen klasifikator, Y postaje san Melon Husk-a
   • ROC AUC = 0.5 🎲 → nasumični klasifikator, jednako koristan kao anketa na Chirper-u
   • 0.5 < ROC AUC < 1 📈 → koliko dobro model razdvaja normalne od problematičnih chirp-ova