Chirper és Melon Husk birodalma (Y)

Chirper és Melon Husk birodalma (Y)

Kontextus

Egy párhuzamos világban a közösségi hálózatok között a Chirper a legnépszerűbb mikro-üzenet platform.
Nemrégiben a platformot megvásárolta a híres (és kissé különc) Melon Husk, aki úgy döntött, hogy Y néven újramárkázza.

Hogy az Y-t tisztábbá és barátságosabbá tegye, Melon Husk arra kéri az adattudományi csapatodat, hogy építsetek egy osztályozási modellt, amely automatikusan felismeri a problémás chirp-eket (spam, irreleváns tartalom vagy zaj), hogy ezeket ki lehessen szűrni a hírfolyamból.

Kaptál egy történelmi chirp-ek halmazát és egy modellt kell építened,
amely képes új chirp-eket osztályozni.

Rendelkezésedre bocsátottak két fájlt:

• train.csv – történelmi chirp-ek label címkével (problematic = 1 / normal = 0)
• test.csv – új chirp-ek, címke nélkül

Fő cél: annak valószínűségének előrejelzése, hogy egy chirp problémás
(0 és 1 közötti érték, ahol 0 = biztosan normális chirp, 1 = biztosan problémás chirp).

📊 Adathalmaz

Minden sor egy Chirper Y-on közzétett chirp-et képvisel, a következő attribútumokkal:

• id – a chirp egyedi azonosítója
• chirp – a chirp szövege
• label – csak a train.csv-ben, 1 (problémás) / 0 (normális)

Végső cél: label előrejelzése a test.csv soraira.

📝 Feladatok

Az első két részfeladat a chirp-ek egyszerű elemzését ellenőrzi.
Az utolsó részfeladat az osztályozási modell teljesítményét értékeli.

1. részfeladat (10 pont)

Határozd meg minden chirp hosszát karakterek számában.

Ehhez a részfeladathoz egy egész számot jelenítsd meg.

2. részfeladat (15 pont)

Számold meg, hány # karakter előfordulása van a chirp-ben
(fontos mutató a túlzott hashtag-ek számára, amelyeket a spammerek imádnak 😄).

3. részfeladat (75 pont)

Építsetek egy osztályozási modellt, amely előrejelzi annak valószínűségét, hogy egy chirp
problémás (p ∈ [0,1]) a test minden sorára.

Az értékelés ROC görbe és AUC (Area Under the ROC Curve) használatával történik.

🧮 Értékelés

• AUC ≥ 0.95 → 75 pont
• AUC ≤ 0.80 → 0 pont
• A kettő közötti intervallum: arányos pontszám

Az 1–2. részfeladatok pontos értékelése (összehasonlítással).

📄 A beadási fájl formátuma

A submission.csv fájlnak 3 sort kell tartalmaznia minden test sorhoz,
a 3 részfeladatnak megfelelően.

Struktúra:

1subtaskID,datapointID,answer

ahol:

ahol:

• subtaskID – 1, 2 vagy 3
• datapointID – az id értéke
• answer – a feladattól függ:
  • 1. részfeladat: a chirp hossza (egész szám)
  • 2. részfeladat: a # karakter előfordulásainak száma (egész szám)
  • 3. részfeladat: annak valószínűsége, hogy a chirp problémás (0–1 közötti valós szám)

Példa id = 25758-ra:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Értékelési metrika: ROC AUC 📈

A 3. részfeladat esetében az értékelés ROC AUC (Area Under the ROC Curve) használatával történik.
Ez egy egyedi mérték, amely összefoglalja egy osztályozó teljesítményét
minden lehetséges döntési küszöbhöz.

Hogyan számítjuk ki a ROC AUC-t?

1. Megrajzoljuk a ROC görbét, amely a következőket ábrázolja:

   • TPR (True Positive Rate) – a helyesen felismert problémás chirp-ek aránya
   • FPR (False Positive Rate) – a tévesen problémásnak jelölt normális chirp-ek aránya

2. A görbe alatti terület (AUC) kiszámítása a trapéz szabály használatával:

   • A görbét trapézokra osztjuk az FPR értékeknél húzott függőleges vonalak
     és a TPR értékeknél húzott vízszintes vonalak segítségével
   • Összeadjuk a trapézok területeit az AUC végső értékének megkapásához

3. A pontszám értelmezése:

   • ROC AUC = 1 🏆 → tökéletes osztályozó, Y Melon Husk álma lesz
   • ROC AUC = 0.5 🎲 → véletlenszerű osztályozó, ugyanolyan hasznos, mint egy szavazás a Chirper-en
   • 0.5 < ROC AUC < 1 📈 → mennyire jól választja szét a modell a normális és problémás chirp-eket