Chirper a říše Melona Huska (Y)

Chirper a říše Melona Huska (Y)

Kontext

V paralelním světě sociálních sítí je Chirper nejpopulárnější platformou pro mikrozprávy.
Nedávno byla platforma koupena slavným (a mírně excentrickým) Melonem Huskem, který se rozhodl ji rebrandovat pod názvem Y.

Aby učinil Y čistší a přátelštější, Melon Husk žádá váš tým data science, aby vytvořil klasifikační model, který automaticky detekuje problematické chirpy (spam, irelevantní obsah nebo šum), aby mohly být filtrovány z feedu.

Obdrželi jste sadu historických chirpů a musíte vytvořit model,
který dokáže klasifikovat nové chirpy.

K dispozici máte dva soubory:

• train.csv – historické chirpy s označením label (problematic = 1 / normal = 0)
• test.csv – nové chirpy bez označení

Hlavní cíl: predikce pravděpodobnosti, že chirp je problematický
(hodnota mezi 0 a 1, kde 0 = chirp určitě normální, 1 = chirp určitě problematický).

📊 Dataset

Každý řádek představuje chirp publikovaný na Chirper Y s následujícími atributy:

• id – unikátní identifikátor chirpu
• chirp – text chirpu
• label – pouze v train.csv, 1 (problematický) / 0 (normální)

Konečný cíl: predikovat label pro řádky v test.csv.

📝 Úkoly

První dva podúkoly ověřují jednoduchou analýzu chirpů.
Poslední podúkol hodnotí výkon klasifikačního modelu.

Podúkol 1 (10 bodů)

Určete délku každého chirpu jako počet znaků.

Pro tento podúkol zobrazte celé číslo.

Podúkol 2 (15 bodů)

Spočítejte, kolik výskytů znaku # existuje v chirpu
(důležitý indikátor pro nadměrné hashtagy, oblíbené spammery 😄).

Podúkol 3 (75 bodů)

Vytvořte klasifikační model, který predikuje pravděpodobnost, že chirp
je problematický (p ∈ [0,1]) pro každý řádek v testu.

Hodnocení se provádí pomocí ROC křivky a AUC (Area Under the ROC Curve).

🧮 Hodnocení

• AUC ≥ 0.95 → 75 bodů
• AUC ≤ 0.80 → 0 bodů
• Interval mezi nimi: proporcionální bodování

Podúkoly 1–2 se hodnotí přesně (porovnáním).

📄 Formát souboru pro odevzdání

Soubor submission.csv musí obsahovat 3 řádky pro každý řádek z testu,
odpovídající 3 podúkolům.

Struktura:

1subtaskID,datapointID,answer

kde:

kde:

• subtaskID – 1, 2 nebo 3
• datapointID – hodnota id
• answer – závisí na úkolu:
  • Podúkol 1: délka chirpu (celé číslo)
  • Podúkol 2: počet výskytů znaku # (celé číslo)
  • Podúkol 3: pravděpodobnost, že chirp je problematický (reálné číslo 0–1)

Příklad pro id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Metrika hodnocení: ROC AUC 📈

Pro Podúkol 3 se hodnocení provádí pomocí ROC AUC (Area Under the ROC Curve).
Jedná se o jedinečnou míru, která shrnuje výkon klasifikátoru
pro všechny možné rozhodovací prahy.

Jak se počítá ROC AUC?

1. Kreslí se ROC křivka, která představuje:

   • TPR (True Positive Rate) – podíl problematických chirpů správně detekovaných
   • FPR (False Positive Rate) – podíl normálních chirpů nesprávně označených jako problematické

2. Plocha pod křivkou (AUC) se počítá pomocí lichoběžníkového pravidla:

   • Křivka je rozdělena na lichoběžníky pomocí svislých čar na hodnotách FPR
     a vodorovných čar na hodnotách TPR
   • Sečtou se plochy lichoběžníků pro získání konečné hodnoty AUC

3. Interpretace skóre:

   • ROC AUC = 1 🏆 → perfektní klasifikátor, Y se stává snem Melona Huska
   • ROC AUC = 0.5 🎲 → náhodný klasifikátor, stejně užitečný jako anketa na Chirperu
   • 0.5 < ROC AUC < 1 📈 → jak dobře model odděluje normální chirpy od problematických