Chirper og imperiet til Melon Husk (Y)

Chirper og Melon Husk sitt imperium (Y)

Kontekst

I en parallell verden av sosiale nettverk er Chirper den mest populære plattformen for mikromeldinger.
Nylig ble plattformen kjøpt opp av den berømte (og litt eksentriske) Melon Husk, som bestemte seg for å rebrandinge den under navnet Y.

For å gjøre Y renere og mer vennlig, ber Melon Husk ditt data science-team om å bygge en klassifiseringsmodell som automatisk kan oppdage problematiske chirp-er (spam, irrelevant innhold eller støy), slik at disse kan filtreres ut fra feeden.

Du har fått et sett med historiske chirp-er og må bygge en modell
som kan klassifisere nye chirp-er.

Du har fått tilgang til to filer:

• train.csv – historiske chirp-er med etiketten label (problematic = 1 / normal = 0)
• test.csv – nye chirp-er, uten etikett

Hovedmål: prediksjon av sannsynligheten for at en chirp er problematisk
(verdi mellom 0 og 1, hvor 0 = chirp sikkert normal, 1 = chirp sikkert problematisk).

📊 Datasettet

Hver rad representerer en chirp publisert på Chirper Y, med følgende attributter:

• id – unik identifikator for chirp-en
• chirp – teksten til chirp-en
• label – kun i train.csv, 1 (problematisk) / 0 (normal)

Endelig mål: prediker label for radene i test.csv.

📝 Oppgaver

De to første deloppgavene verifiserer enkel analyse av chirp-ene.
Den siste deloppgaven evaluerer ytelsen til klassifiseringsmodellen.

Deloppgave 1 (10 poeng)

Bestem lengden på hver chirp som antall tegn.

Vis for denne deloppgaven et heltall.

Deloppgave 2 (15 poeng)

Tell hvor mange forekomster av tegnet # som finnes i chirp-en
(viktig indikator for overdrevne hashtags, elsket av spammere 😄).

Deloppgave 3 (75 poeng)

Bygg en klassifiseringsmodell som predikerer sannsynligheten for at en chirp
er problematisk (p ∈ [0,1]) for hver rad i test.

Evalueringen gjøres ved hjelp av ROC curve og AUC (Area Under the ROC Curve).

🧮 Evaluering

• AUC ≥ 0.95 → 75 poeng
• AUC ≤ 0.80 → 0 poeng
• Intervallet mellom dem: proporsjonalt poeng

Deloppgaver 1–2 evalueres eksakt (ved sammenligning).

📄 Format for innleveringsfilen

Filen submission.csv må inneholde 3 linjer for hver rad i test,
tilsvarende de 3 deloppgavene.

Struktur:

1subtaskID,datapointID,answer

hvor:

hvor:

• subtaskID – 1, 2 eller 3
• datapointID – verdien id
• answer – avhenger av oppgaven:
  • Deloppgave 1: lengden på chirp-en (heltall)
  • Deloppgave 2: antall forekomster av tegnet # (heltall)
  • Deloppgave 3: sannsynligheten for at chirp-en er problematisk (reelt tall 0–1)

Eksempel for id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Evalueringsmetrikk: ROC AUC 📈

For Deloppgave 3 gjøres evalueringen ved hjelp av ROC AUC (Area Under the ROC Curve).
Dette er et unikt mål som sammenfatter ytelsen til en klassifiserer
for alle mulige beslutningsgrenser.

Hvordan beregnes ROC AUC?

1. ROC-kurven tegnes, som representerer:

   • TPR (True Positive Rate) – andelen problematiske chirp-er oppdaget korrekt
   • FPR (False Positive Rate) – andelen normale chirp-er feilaktig merket som problematiske

2. Arealet under kurven (AUC) beregnes ved hjelp av trapesregelen:

   • Kurven deles inn i trapeser ved hjelp av vertikale linjer ved FPR-verdiene
     og horisontale linjer ved TPR-verdiene
   • Arealene til trapesene summeres for å få den endelige AUC-verdien

3. Tolkning av poengsummen:

   • ROC AUC = 1 🏆 → perfekt klassifiserer, Y blir Melon Husk sin drøm
   • ROC AUC = 0.5 🎲 → tilfeldig klassifiserer, like nyttig som en poll på Chirper
   • 0.5 < ROC AUC < 1 📈 → hvor godt modellen skiller normale fra problematiske chirp-er