Chirper i carstvo Melona Huska (Y)

Chirper i carstvo Melona Huska (Y)

Kontekst

U paralelnom svijetu društvenih mreža, Chirper je najpopularnija platforma za mikro-poruke.
Nedavno je platformu kupio slavni (i pomalo ekscentrični) Melon Husk, koji je odlučio je rebrandirati pod imenom Y.

Kako bi Y učinio čišćim i prijateljskijim, Melon Husk traži od vašeg data science tima da izgradi model klasifikacije koji će automatski detektirati problematične chirp-ove (spam, irelevantni sadržaj ili šum), tako da se mogu filtrirati iz feed-a.

Dobili ste skup povijesnih chirp-ova i trebate izgraditi model
koji može klasificirati nove chirp-ove.

Na raspolaganju su vam dvije datoteke:

• train.csv – povijesni chirp-ovi s oznakom label (problematic = 1 / normal = 0)
• test.csv – novi chirp-ovi, bez oznake

Glavni cilj: predviđanje vjerojatnosti da je chirp problematičan
(vrijednost između 0 i 1, gdje 0 = sigurno normalan chirp, 1 = sigurno problematičan chirp).

📊 Skup podataka

Svaki red predstavlja chirp objavljen na Chirper Y, s sljedećim atributima:

• id – jedinstveni identifikator chirp-a
• chirp – tekst chirp-a
• label – samo u train.csv, 1 (problematičan) / 0 (normalan)

Konačni cilj: predvidjeti label za redove iz test.csv.

📝 Zadaci

Prva dva podzadatka provjeravaju jednostavnu analizu chirp-ova.
Zadnji podzadatak evaluira performanse modela klasifikacije.

Podzadatak 1 (10 bodova)

Odredite duljinu svakog chirp-a kao broj znakova.

Prikažite za ovaj podzadatak cijeli broj.

Podzadatak 2 (15 bodova)

Prebrojite koliko pojavljivanja znaka # postoji u chirp-u
(važan pokazatelj za pretjerane hashtag-ove, omiljene spammerima 😄).

Podzadatak 3 (75 bodova)

Izgradite model klasifikacije koji predviđa vjerojatnost da je chirp
problematičan (p ∈ [0,1]) za svaki red iz test-a.

Evaluacija se vrši koristeći ROC krivulju i AUC (Area Under the ROC Curve).

🧮 Evaluacija

• AUC ≥ 0.95 → 75 bodova
• AUC ≤ 0.80 → 0 bodova
• Interval između njih: proporcionalni bodovi

Podzadaci 1–2 se evaluiraju točno (usporedbom).

📄 Format datoteke za predaju

Datoteka submission.csv mora sadržavati 3 linije za svaki red iz test-a,
koje odgovaraju 3 podzadatka.

Struktura:

1subtaskID,datapointID,answer

gdje:

gdje:

• subtaskID – 1, 2 ili 3
• datapointID – vrijednost id
• answer – ovisi o zadatku:
  • Podzadatak 1: duljina chirp-a (cijeli broj)
  • Podzadatak 2: broj pojavljivanja znaka # (cijeli broj)
  • Podzadatak 3: vjerojatnost da je chirp problematičan (realni broj 0–1)

Primjer za id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Metrika evaluacije: ROC AUC 📈

Za Podzadatak 3, evaluacija se vrši koristeći ROC AUC (Area Under the ROC Curve).
Ovo je jedinstvena mjera koja sintetizira performanse klasifikatora
za sve moguće pragove odlučivanja.

Kako se računa ROC AUC?

1. Crta se ROC krivulja, koja predstavlja:

   • TPR (True Positive Rate) – udio problematičnih chirp-ova ispravno detektiranih
   • FPR (False Positive Rate) – udio normalnih chirp-ova pogrešno označenih kao problematičnih

2. Površina ispod krivulje (AUC) računa se koristeći pravilo trapeza:

   • Krivulja se dijeli na trapeze koristeći okomite linije na vrijednostima FPR
     i vodoravne linije na vrijednostima TPR
   • Zbrajaju se površine trapeza za dobivanje konačne vrijednosti AUC

3. Interpretacija rezultata:

   • ROC AUC = 1 🏆 → savršen klasifikator, Y postaje san Melona Huska
   • ROC AUC = 0.5 🎲 → slučajan klasifikator, jednako koristan kao anketa na Chirper-u
   • 0.5 < ROC AUC < 1 📈 → koliko dobro model razdvaja normalne od problematičnih chirp-ova