Chirper ir Melon Husk imperija (Y)

Chirper ir Melon Husk imperija (Y)

Kontekstas

Lygiagrečiame socialinių tinklų pasaulyje Chirper yra populiariausia mikro-žinučių platforma.
Neseniai platformą nupirko garsus (ir šiek tiek ekscentriškas) Melon Husk, kuris nusprendė ją perkainoti Y pavadinimu.

Kad Y būtų švaresnė ir draugiškesnė, Melon Husk prašo jūsų duomenų mokslo komandos sukurti klasifikavimo modelį, kuris automatiškai aptiktų problematiškus chirp-us (šlamštą, nerelevantų turinį ar triukšmą), kad juos būtų galima išfiltruoti iš srautų.

Gavote istorinių chirp-ų rinkinį ir turite sukurti modelį,
kuris galėtų klasifikuoti naujus chirp-us.

Jums buvo pateikti du failai:

• train.csv – istoriniai chirp-ai su etikete label (problematic = 1 / normal = 0)
• test.csv – nauji chirp-ai, be etiketės

Pagrindinis tikslas: tikimybės, kad chirp-as yra problematiškas, prognozavimas
(reikšmė tarp 0 ir 1, kur 0 = tikrai normalus chirp-as, 1 = tikrai problematiškas chirp-as).

📊 Duomenų rinkinys

Kiekviena eilutė atstovauja chirp-ą, paskelbta Chirper Y, su šiais atributais:

• id – unikalus chirp-o identifikatorius
• chirp – chirp-o tekstas
• label – tik train.csv, 1 (problematiškas) / 0 (normalus)

Galutinis tikslas: prognozuoti label eilutėms iš test.csv.

📝 Užduotys

Pirmosios dvi užduotys tikrina paprastą chirp-ų analizę.
Paskutinė užduotis vertina klasifikavimo modelio našumą.

1 užduotis (10 taškų)

Nustatykite kiekvieno chirp-o ilgį simbolių skaičiumi.

Šiai užduočiai pateikite sveikąjį skaičių.

2 užduotis (15 taškų)

Suskaičiuokite, kiek kartų chirp-e pasitaiko simbolis #
(svarbus indikatorius pertekliniams hashtag-ams, kuriuos mėgsta šlamštininkai 😄).

3 užduotis (75 taškai)

Sukurkite klasifikavimo modelį, kuris prognozuoja tikimybę, kad chirp-as
yra problematiškas (p ∈ [0,1]) kiekvienai test eilutei.

Vertinimas atliekamas naudojant ROC kreivę ir AUC (Area Under the ROC Curve).

🧮 Vertinimas

• AUC ≥ 0.95 → 75 taškai
• AUC ≤ 0.80 → 0 taškų
• Intervalas tarp jų: proporcinis taškai

1–2 užduotys vertinamos tiksliai (palyginimo būdu).

📄 Pateikimo failo formatas

Failas submission.csv turi turėti po 3 eilutes kiekvienai test eilutei,
atitinkančias 3 užduotis.

Struktūra:

1subtaskID,datapointID,answer

kur:

kur:

• subtaskID – 1, 2 arba 3
• datapointID – id reikšmė
• answer – priklauso nuo užduoties:
  • 1 užduotis: chirp-o ilgis (sveikasis skaičius)
  • 2 užduotis: simbolio # pasikartojimų skaičius (sveikasis skaičius)
  • 3 užduotis: tikimybė, kad chirp-as yra problematiškas (realusis skaičius 0–1)

Pavyzdys id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Vertinimo metrika: ROC AUC 📈

3 užduočiai vertinimas atliekamas naudojant ROC AUC (Area Under the ROC Curve).
Tai yra unikalus matas, kuris apibendrinta klasifikatoriaus našumą
visiems galimoms sprendimo riboms.

Kaip skaičiuojamas ROC AUC?

1. Braižoma ROC kreivė, kuri vaizduoja:

   • TPR (True Positive Rate) – teisingai aptiktų problematiškų chirp-ų dalis
   • FPR (False Positive Rate) – klaidingai kaip problematiškų pažymėtų normalių chirp-ų dalis

2. Plotas po kreive (AUC) skaičiuojamas naudojant trapecijų taisyklę:

   • Kreivė padalijama į trapecijas naudojant vertikalias linijas FPR reikšmėse
     ir horizontalias linijas TPR reikšmėse
   • Sudedami trapecijų plotai, kad būtų gauta galutinė AUC reikšmė

3. Rezultato interpretacija:

   • ROC AUC = 1 🏆 → tobulas klasifikatorius, Y tampa Melon Husk svajonė
   • ROC AUC = 0.5 🎲 → atsitiktinis klasifikatorius, toks pat naudingas kaip apklausa Chirper
   • 0.5 < ROC AUC < 1 📈 → kaip gerai modelis atskiria normalius chirp-us nuo problematiškų