Chirper e l'impero di Melon Husk (Y)

Chirper e l'impero di Melon Husk (Y)

Contesto

In un mondo parallelo dei social network, Chirper è la piattaforma di micro-messaggi più popolare.
Recentemente, la piattaforma è stata acquistata dal famoso (e leggermente eccentrico) Melon Husk, che ha deciso di rebrandarla con il nome Y.

Per rendere Y più pulito e più amichevole, Melon Husk chiede al tuo team di data science di costruire un modello di classificazione che rilevi automaticamente chirp problematici (spam, contenuto irrilevante o rumore), in modo che possano essere filtrati dal feed.

Hai ricevuto un set di chirp storici e devi costruire un modello
che possa classificare nuovi chirp.

Ti sono stati messi a disposizione due file:

• train.csv – chirp storici con etichetta label (problematic = 1 / normal = 0)
• test.csv – chirp nuovi, senza etichetta

Obiettivo principale: predizione della probabilità che un chirp sia problematico
(valore tra 0 e 1, dove 0 = chirp sicuramente normale, 1 = chirp sicuramente problematico).

📊 Il dataset

Ogni riga rappresenta un chirp pubblicato su Chirper Y, con i seguenti attributi:

• id – identificatore unico del chirp
• chirp – testo del chirp
• label – solo in train.csv, 1 (problematico) / 0 (normale)

Obiettivo finale: predire label per le righe in test.csv.

📝 Task

I primi due subtask verificano l'analisi semplice dei chirp.
L'ultimo subtask valuta le prestazioni del modello di classificazione.

Subtask 1 (10 punti)

Determina la lunghezza di ogni chirp come numero di caratteri.

Mostra per questo subtask un numero intero.

Subtask 2 (15 punti)

Conta quante occorrenze del carattere # esistono nel chirp
(indicatore importante per hashtag eccessivi, amati dagli spammer 😄).

Subtask 3 (75 punti)

Costruisci un modello di classificazione che predica la probabilità che un chirp
sia problematico (p ∈ [0,1]) per ogni riga del test.

La valutazione si fa usando curva ROC e AUC (Area Under the ROC Curve).

🧮 Valutazione

• AUC ≥ 0.95 → 75 punti
• AUC ≤ 0.80 → 0 punti
• L'intervallo tra questi: punteggio proporzionale

I subtask 1–2 si valutano esattamente (per confronto).

📄 Formato del file di submission

Il file submission.csv deve contenere 3 righe per ogni riga del test,
corrispondenti ai 3 subtask.

Struttura:

1subtaskID,datapointID,answer

dove:

dove:

• subtaskID – 1, 2 o 3
• datapointID – il valore id
• answer – dipende dal task:
  • Subtask 1: lunghezza del chirp (numero intero)
  • Subtask 2: numero di occorrenze del carattere # (numero intero)
  • Subtask 3: probabilità che il chirp sia problematico (numero reale 0–1)

Esempio per id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Metrica di valutazione: ROC AUC 📈

Per il Subtask 3, la valutazione si fa usando ROC AUC (Area Under the ROC Curve).
Questa è una misura unica che sintetizza le prestazioni di un classificatore
per tutte le soglie di decisione possibili.

Come si calcola ROC AUC?

1. Si traccia la curva ROC, che rappresenta:

   • TPR (True Positive Rate) – proporzione di chirp problematici rilevati correttamente
   • FPR (False Positive Rate) – proporzione di chirp normali marcati erroneamente come problematici

2. L'area sotto la curva (AUC) si calcola usando la regola dei trapezi:

   • La curva è divisa in trapezi usando le linee verticali ai valori FPR
     e le linee orizzontali ai valori TPR
   • Si sommano le aree dei trapezi per ottenere il valore finale dell'AUC

3. Interpretazione del punteggio:

   • ROC AUC = 1 🏆 → classificatore perfetto, Y diventa il sogno di Melon Husk
   • ROC AUC = 0.5 🎲 → classificatore casuale, utile quanto un sondaggio su Chirper
   • 0.5 < ROC AUC < 1 📈 → quanto bene il modello separa i chirp normali da quelli problematici