Chirper in imperij Melona Huska (Y)

Chirper in imperij Melona Huska (Y)

Kontekst

V vzporednem svetu družbenih omrežij je Chirper najbolj priljubljena platforma za mikro-sporočila.
Nedavno je platformo kupil slavni (in rahlo ekscentrični) Melon Husk, ki se je odločil, da jo prebrendi pod imenom Y.

Da bi naredil Y čistejši in prijaznejši, Melon Husk zahteva od vaše ekipe za podatkovno znanost, da zgradi klasifikacijski model, ki bo samodejno zaznal problematične chirp-e (spam, nepomemben vsebina ali šum), tako da jih bo mogoče filtrirati iz vira.

Prejeli ste nabor zgodovinskih chirp-ov in morate zgraditi model,
ki bo lahko klasificiral nove chirp-e.

Na voljo imate dve datoteki:

• train.csv – zgodovinski chirp-i z oznako label (problematic = 1 / normal = 0)
• test.csv – novi chirp-i, brez oznake

Glavni cilj: napoved verjetnosti, da je chirp problematičen
(vrednost med 0 in 1, kjer 0 = zagotovo normalen chirp, 1 = zagotovo problematičen chirp).

📊 Nabor podatkov

Vsaka vrstica predstavlja chirp, objavljen na Chirper Y, z naslednjimi atributi:

• id – edinstveni identifikator chirp-a
• chirp – besedilo chirp-a
• label – samo v train.csv, 1 (problematičen) / 0 (normalen)

Končni cilj: napovedati label za vrstice v test.csv.

📝 Naloge

Prvi dve podnalogi preverjata preprosto analizo chirp-ov.
Zadnja podnaloga ocenjuje uspešnost klasifikacijskega modela.

Podnaloga 1 (10 točk)

Določi dolžino vsakega chirp-a kot število znakov.

Za to podnalogo prikaži celo število.

Podnaloga 2 (15 točk)

Preštej, koliko pojavitev znaka # obstaja v chirp-u
(pomemben indikator za prekomerne hashtag-e, ki jih obožujejo spamerji 😄).

Podnaloga 3 (75 točk)

Zgradite klasifikacijski model, ki napoveduje verjetnost, da je chirp
problematičen (p ∈ [0,1]) za vsako vrstico v testu.

Ocenjevanje se izvaja z uporabo ROC krivulje in AUC (Area Under the ROC Curve).

🧮 Ocenjevanje

• AUC ≥ 0.95 → 75 točk
• AUC ≤ 0.80 → 0 točk
• Interval med njima: sorazmerno točkovanje

Podnalogi 1–2 se ocenjujeta natančno (s primerjavo).

📄 Format datoteke za oddajo

Datoteka submission.csv mora vsebovati 3 vrstice za vsako vrstico v testu,
ki ustrezajo 3 podnalogam.

Struktura:

1subtaskID,datapointID,answer

kjer:

kjer:

• subtaskID – 1, 2 ali 3
• datapointID – vrednost id
• answer – odvisno od naloge:
  • Podnaloga 1: dolžina chirp-a (celo število)
  • Podnaloga 2: število pojavitev znaka # (celo število)
  • Podnaloga 3: verjetnost, da je chirp problematičen (realno število 0–1)

Primer za id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Metrika ocenjevanja: ROC AUC 📈

Za Podnalogo 3 se ocenjevanje izvaja z uporabo ROC AUC (Area Under the ROC Curve).
To je edinstvena mera, ki povzema uspešnost klasifikatorja
za vse možne pragove odločitve.

Kako se izračuna ROC AUC?

1. Nariše se ROC krivulja, ki predstavlja:

   • TPR (True Positive Rate) – delež problematičnih chirp-ov, pravilno zaznanih
   • FPR (False Positive Rate) – delež normalnih chirp-ov, napačno označenih kot problematičnih

2. Površina pod krivuljo (AUC) se izračuna z uporabo trapeznega pravila:

   • Krivulja je razdeljena na trapeze z uporabo navpičnih črt pri vrednostih FPR
     in vodoravnih črt pri vrednostih TPR
   • Seštejejo se površine trapezov za pridobitev končne vrednosti AUC

3. Interpretacija rezultata:

   • ROC AUC = 1 🏆 → popoln klasifikator, Y postane Melonova Huskova sanja
   • ROC AUC = 0.5 🎲 → naključni klasifikator, enako uporaben kot anketa na Chirper-ju
   • 0.5 < ROC AUC < 1 📈 → kako dobro model ločuje normalne od problematičnih chirp-ov