Chirper ja Melon Huski impeerium (Y)

Chirper ja Melon Huski impeerium (Y)

Kontekst

Paralleelses sotsiaalmeedia maailmas on Chirper kõige populaarsem mikrosõnumite platvorm.
Hiljuti ostis platvormi kuulus (ja veidi ekstsentriline) Melon Husk, kes otsustas selle ümber brändida nimega Y.

Et muuta Y puhtamaks ja sõbralikumaks, palub Melon Husk sinu andmeteaduse meeskonnalt ehitada klassifitseerimismudeli, mis tuvastaks automaatselt probleemseid chirp-e (spam, asjakohatu sisu või müra), et neid saaks feedist välja filtreerida.

Sa said ajalooliste chirp-ide andmestiku ja pead ehitama mudeli,
mis suudaks klassifitseerida uusi chirp-e.

Sulle on antud kaks faili:

• train.csv – ajaloolised chirp-id koos sildiga label (problematic = 1 / normal = 0)
• test.csv – uued chirp-id, ilma sildita

Peamine eesmärk: chirp-i probleemsuse tõenäosuse ennustamine
(väärtus vahemikus 0 ja 1, kus 0 = kindlalt normaalne chirp, 1 = kindlalt problemaatiline chirp).

📊 Andmestik

Iga rida esindab Chirper Y-s avaldatud chirp-i järgmiste atribuutidega:

• id – chirp-i unikaalne identifikaator
• chirp – chirp-i tekst
• label – ainult train.csv-s, 1 (problemaatiline) / 0 (normaalne)

Lõppeesmärk: ennusta label test.csv ridadele.

📝 Ülesanded

Esimesed kaks alamülesannet kontrollivad chirp-ide lihtsat analüüsi.
Viimane alamülesanne hindab klassifitseerimismudeli jõudlust.

Alamülesanne 1 (10 punkti)

Määra iga chirp-i pikkus märkide arvuna.

Kuva selle alamülesande jaoks täisarv.

Alamülesanne 2 (15 punkti)

Loe kokku, mitu korda esineb märk # chirp-is
(oluline näitaja liigse hashtag-ide kasutamise kohta, mida armastavad spämmerid 😄).

Alamülesanne 3 (75 punkti)

Ehitage klassifitseerimismudel, mis ennustab tõenäosust, et chirp
on problemaatiline (p ∈ [0,1]) iga test-faili rea jaoks.

Hindamine toimub kasutades ROC kõverat ja AUC (Area Under the ROC Curve).

🧮 Hindamine

• AUC ≥ 0.95 → 75 punkti
• AUC ≤ 0.80 → 0 punkti
• Nende vaheline intervall: proportsionaalne punktisumma

Alamülesanded 1–2 hinnatakse täpselt (võrdlemise teel).

📄 Esitamisfaili formaat

Fail submission.csv peab sisaldama 3 rida iga test-faili rea kohta,
mis vastavad 3 alamülesandele.

Struktuur:

1subtaskID,datapointID,answer

kus:

kus:

• subtaskID – 1, 2 või 3
• datapointID – id väärtus
• answer – sõltub ülesandest:
  • Alamülesanne 1: chirp-i pikkus (täisarv)
  • Alamülesanne 2: märgi # esinemiste arv (täisarv)
  • Alamülesanne 3: tõenäosus, et chirp on problemaatiline (reaalarv 0–1)

Näide id = 25758 jaoks:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Hindamismeetrika: ROC AUC 📈

Alamülesande 3 jaoks toimub hindamine kasutades ROC AUC (Area Under the ROC Curve).
See on ühene mõõdik, mis koondab klassifitseerija jõudlust
kõigi võimalike otsustuslävendite jaoks.

Kuidas arvutatakse ROC AUC?

1. Joonistatakse ROC kõver, mis esindab:

   • TPR (True Positive Rate) – õigesti tuvastatud probleemsete chirp-ide osakaal
   • FPR (False Positive Rate) – valesti problemaatilisteks märgitud normaalsete chirp-ide osakaal

2. Kõvera alune pindala (AUC) arvutatakse kasutades trapetsireeglit:

   • Kõver jagatakse trapetsiteks kasutades vertikaalseid jooni FPR väärtustel
     ja horisontaalseid jooni TPR väärtustel
   • Trapetsite pindalad liidetakse kokku AUC lõplik väärtuse saamiseks

3. Tulemuse tõlgendamine:

   • ROC AUC = 1 🏆 → täiuslik klassifitseerija, Y saab Melon Huski unistuseks
   • ROC AUC = 0.5 🎲 → juhuslik klassifitseerija, sama kasulik kui küsitlus Chirper-is
   • 0.5 < ROC AUC < 1 📈 → kui hästi eristab mudel normaalseid chirp-e problemaatilistest