Sistema automatizzato di rilevamento delle email spam

💌 Sistema automatizzato di rilevamento email spam 📧

La tua azienda desidera proteggere gli utenti dalle email indesiderate (spam).
Per questo, si è deciso di costruire un sistema automatico che identifichi
le email spam e le separi da quelle legittime (nonspam).

Hai ricevuto un set di email etichettate e devi costruire un modello
che possa classificare le nuove email.

Ti sono stati messi a disposizione due file:

• train.csv - email storiche con etichetta label (spam = 1 / nonspam = 0)
• test.csv - nuove email, senza etichetta

Obiettivo principale: predizione della probabilità che un'email sia spam (valore tra 0 e 1, dove 0 = nonspam sicuro, 1 = spam sicuro).

📊 Il dataset

Ogni riga rappresenta un'email, con i seguenti attributi:

• sample_id - identificatore unico
• text - contenuto dell'email
• label - solo in train.csv, 1 (spam)/ 0 (nonspam)

Obiettivo finale: predire label per le righe in test.csv.

📝 Task

I primi due subtask verificano l'analisi semplice delle email.
L'ultimo subtask valuta il modello di classificazione.

Subtask 1 (10 punti)

Determina la lunghezza di ogni email come numero di caratteri.

Visualizza per questo subtask un numero intero.

Subtask 2 (15 punti)

Conta quante occorrenze della parola free esistono nell'email.

Subtask 3 (75 punti)

Costruisci un modello di classificazione che predica la probabilità che un'email sia spam (p ∈ [0,1]) per ogni riga del test.

La valutazione si fa usando curva ROC e AUC (Area Under the ROC Curve).

🧮 Valutazione

• AUC ≥ 0.95 → 75 punti
• AUC ≤ 0.80 → 0 punti
• L'intervallo tra questi: punteggio proporzionale

I subtask 1–2 si valutano esattamente (per confronto).

📄 Formato del file di submission

Il file submission.csv deve contenere 3 righe per ogni riga del test,
corrispondenti ai 3 subtask.

Struttura:

1subtaskID, datapointID, answer

dove:

• subtaskID - 1, 2 o 3
• datapointID - il valore sample_id
• answer - dipende dal task:
  • Subtask 1: lunghezza dell'email (numero intero)
  • Subtask 2: numero di occorrenze della parola free (numero intero)
  • Subtask 3: probabilità che l'email sia spam (numero reale 0–1)

Esempio per sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Metrica di valutazione: ROC AUC 📈

Per il Subtask 3, la valutazione si fa usando ROC AUC (Area Under the ROC Curve).
Questa è una misura unica che sintetizza le prestazioni di un classificatore per tutte le soglie di decisione possibili.

Come si calcola ROC AUC?

1. Si traccia la curva ROC, che rappresenta:
   • TPR (True Positive Rate) - tasso corretto di approvazione delle richieste approvate
   • FPR (False Positive Rate) - tasso delle richieste respinte incorrettamente approvate

2. L'area sotto la curva (AUC) si calcola usando la regola dei trapezi:
   • La curva è divisa in trapezi usando le linee verticali ai valori FPR e le linee orizzontali ai valori TPR
   • Si sommano le aree dei trapezi per ottenere il valore finale dell'AUC

3. Interpretazione del punteggio:
   • ROC AUC = 1 🏆 → classificatore perfetto, tutte le richieste sono classificate correttamente
   • ROC AUC = 0.5 🎲 → classificatore casuale, senza potere predittivo
   • 0.5 < ROC AUC < 1 📈 → quanto bene il classificatore separa le classi