Système automatisé de détection des emails spam

💌 Système automatisé de détection des emails spam 📧

Votre entreprise souhaite protéger les utilisateurs des emails indésirables (spam).
Pour cela, il a été décidé de construire un système automatique qui identifie
les emails spam et les sépare de ceux légitimes (nonspam).

Vous avez reçu un ensemble d'emails étiquetés et devez construire un modèle
qui puisse classifier les nouveaux emails.

Deux fichiers ont été mis à votre disposition :

• train.csv - emails historiques avec l'étiquette label (spam = 1 / nonspam = 0)
• test.csv - nouveaux emails, sans étiquette

Objectif principal : prédiction de la probabilité qu'un email soit spam (valeur entre 0 et 1, où 0 = nonspam certain, 1 = spam certain).

📊 Jeu de données

Chaque ligne représente un email, avec les attributs suivants :

• sample_id - identifiant unique
• text - contenu de l'email
• label - uniquement dans train.csv, 1 (spam)/ 0 (nonspam)

Objectif final : prédire label pour les lignes de test.csv.

📝 Tâches

Les deux premières sous-tâches vérifient l'analyse simple des emails.
La dernière sous-tâche évalue le modèle de classification.

Sous-tâche 1 (10 points)

Déterminez la longueur de chaque email en nombre de caractères.

Affichez pour cette sous-tâche un nombre entier.

Sous-tâche 2 (15 points)

Comptez combien d'occurrences du mot free existent dans l'email.

Sous-tâche 3 (75 points)

Construisez un modèle de classification qui prédit la probabilité qu'un email soit spam (p ∈ [0,1]) pour chaque ligne du test.

L'évaluation se fait en utilisant ROC curve et AUC (Area Under the ROC Curve).

🧮 Évaluation

• AUC ≥ 0.95 → 75 points
• AUC ≤ 0.80 → 0 points
• L'intervalle entre eux : score proportionnel

Les sous-tâches 1–2 sont évaluées exactement (par comparaison).

📄 Format du fichier de soumission

Le fichier submission.csv doit contenir 3 lignes pour chaque ligne du test,
correspondant aux 3 sous-tâches.

Structure :

1subtaskID, datapointID, answer

où :

• subtaskID - 1, 2 ou 3
• datapointID - la valeur sample_id
• answer - dépend de la tâche :
  • Sous-tâche 1 : longueur de l'email (nombre entier)
  • Sous-tâche 2 : nombre d'occurrences du mot free (nombre entier)
  • Sous-tâche 3 : probabilité que l'email soit spam (nombre réel 0–1)

Exemple pour sample_id = 00042 :

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Métrique d'évaluation : ROC AUC 📈

Pour la Sous-tâche 3, l'évaluation se fait en utilisant ROC AUC (Area Under the ROC Curve).
Il s'agit d'une mesure unique qui synthétise la performance d'un classificateur pour tous les seuils de décision possibles.

Comment calcule-t-on ROC AUC ?

1. On trace la courbe ROC, qui représente :
   • TPR (True Positive Rate) - taux correct d'approbation des demandes approuvées
   • FPR (False Positive Rate) - taux des demandes rejetées incorrectement approuvées

2. L'aire sous la courbe (AUC) se calcule en utilisant la règle des trapèzes :
   • La courbe est divisée en trapèzes en utilisant les lignes verticales aux valeurs FPR et les lignes horizontales aux valeurs TPR
   • On additionne les aires des trapèzes pour obtenir la valeur finale de l'AUC

3. Interprétation du score :
   • ROC AUC = 1 🏆 → classificateur parfait, toutes les demandes sont classifiées correctement
   • ROC AUC = 0.5 🎲 → classificateur aléatoire, sans pouvoir prédictif
   • 0.5 < ROC AUC < 1 📈 → à quel point le classificateur sépare bien les classes