Chirper ja Melon Huskin imperiumi (Y)

Chirper ja Melon Huskin imperiumi (Y)

Konteksti

Rinnakkaisessa sosiaalisten verkostojen maailmassa Chirper on suosituin mikroviestialusta.
Äskettäin alustan osti kuuluisa (ja hieman eksentrinen) Melon Husk, joka päätti brändätä sen uudelleen nimellä Y.

Tehdäkseen Y:stä puhtaamman ja ystävällisemmän, Melon Husk pyytää datatieteen tiimiäsi rakentamaan luokittelumallin, joka tunnistaa automaattisesti ongelmalliset chirp-viestit (roskaposti, epäolennainen sisältö tai häly), jotta ne voidaan suodattaa pois syötteestä.

Sinulle on annettu joukko historiallisia chirp-viestejä ja sinun tulee rakentaa malli
joka voi luokitella uusia chirp-viestejä.

Käyttöösi on annettu kaksi tiedostoa:

• train.csv – historialliset chirp-viestit tunnistetiedolla label (problematic = 1 / normal = 0)
• test.csv – uudet chirp-viestit, ilman tunnistetietoa

Päätavoite: todennäköisyyden ennustaminen sille, että chirp-viesti on ongelmallinen
(arvo välillä 0 ja 1, missä 0 = varmasti normaali chirp, 1 = varmasti ongelmallinen chirp).

📊 Tietojoukko

Jokainen rivi edustaa Chirper Y:ssä julkaistua chirp-viestiä, seuraavilla attribuuteilla:

• id – chirp-viestin yksilöllinen tunniste
• chirp – chirp-viestin teksti
• label – vain train.csv:ssä, 1 (ongelmallinen) / 0 (normaali)

Lopullinen tavoite: ennusta label test.csv:n riveille.

📝 Tehtävät

Kaksi ensimmäistä alitehtävää tarkistavat chirp-viestien yksinkertaisen analyysin.
Viimeinen alitehtävä arvioi luokittelumallin suorituskykyä.

Alitehtävä 1 (10 pistettä)

Määritä jokaisen chirp-viestin pituus merkkien lukumääränä.

Näytä tätä alitehtävää varten kokonaisluku.

Alitehtävä 2 (15 pistettä)

Laske kuinka monta esiintymää merkistä # on chirp-viestissä
(tärkeä indikaattori liiallisille hashtageille, joita roskapostittajat rakastavat 😄).

Alitehtävä 3 (75 pistettä)

Rakentakaa luokittelumalli, joka ennustaa todennäköisyyden sille, että chirp-viesti
on ongelmallinen (p ∈ [0,1]) jokaiselle testin riville.

Arviointi tehdään käyttäen ROC-käyrää ja AUC (Area Under the ROC Curve) -arvoa.

🧮 Arviointi

• AUC ≥ 0.95 → 75 pistettä
• AUC ≤ 0.80 → 0 pistettä
• Niiden välinen väli: suhteellinen pistemäärä

Alitehtävät 1–2 arvioidaan tarkasti (vertailulla).

📄 Palautustiedoston muoto

Tiedoston submission.csv tulee sisältää 3 riviä jokaista testin riviä kohden,
vastaten 3 alitehtävää.

Rakenne:

1subtaskID,datapointID,answer

missä:

• subtaskID – 1, 2 tai 3
• datapointID – id-arvo
• answer – riippuu tehtävästä:
  • Alitehtävä 1: chirp-viestin pituus (kokonaisluku)
  • Alitehtävä 2: merkin # esiintymien lukumäärä (kokonaisluku)
  • Alitehtävä 3: todennäköisyys sille, että chirp-viesti on ongelmallinen (reaaliluku 0–1)

Esimerkki id = 25758:lle:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Arviointimetriikka: ROC AUC 📈

Alitehtävässä 3 arviointi tehdään käyttäen ROC AUC (Area Under the ROC Curve) -arvoa.
Tämä on yksittäinen mitta, joka tiivistää luokittelijan suorituskyvyn
kaikilla mahdollisilla päätöskynnysarvoilla.

Kuinka ROC AUC lasketaan?

1. Piirretään ROC-käyrä, joka esittää:

   • TPR (True Positive Rate) – oikein tunnistettujen ongelmallisten chirp-viestien osuus
   • FPR (False Positive Rate) – väärin ongelmallisiksi merkittyjen normaalien chirp-viestien osuus

2. Käyrän alainen pinta-ala (AUC) lasketaan käyttäen puolisuunnikassääntöä:

   • Käyrä jaetaan puolisuunnikkaasiin käyttäen pystysuoria viivoja FPR-arvoissa
     ja vaakasuoria viivoja TPR-arvoissa
   • Puolisuunnikkaiden pinta-alat lasketaan yhteen AUC:n lopullisen arvon saamiseksi

3. Pistemäärän tulkinta:

   • ROC AUC = 1 🏆 → täydellinen luokittelija, Y:stä tulee Melon Huskin unelma
   • ROC AUC = 0.5 🎲 → satunnainen luokittelija, yhtä hyödyllinen kuin Chirperin äänestys
   • 0.5 < ROC AUC < 1 📈 → kuinka hyvin malli erottaa normaalit chirp-viestit ongelmallisista