Chirper et l'empire de Melon Husk (Y)

Chirper et l'empire de Melon Husk (Y)

Contexte

Dans un monde parallèle des réseaux sociaux, Chirper est la plateforme de micro-messages la plus populaire.
Récemment, la plateforme a été rachetée par le célèbre (et légèrement excentrique) Melon Husk, qui a décidé de la rebaptiser sous le nom de Y.

Pour rendre Y plus propre et plus convivial, Melon Husk demande à votre équipe de data science de construire un modèle de classification qui détecte automatiquement les chirp-s problématiques (spam, contenu non pertinent ou bruit), afin qu'ils puissent être filtrés du feed.

Vous avez reçu un ensemble de chirp-s historiques et devez construire un modèle
qui puisse classifier de nouveaux chirp-s.

Deux fichiers ont été mis à votre disposition :

• train.csv – chirp-s historiques avec l'étiquette label (problematic = 1 / normal = 0)
• test.csv – nouveaux chirp-s, sans étiquette

Objectif principal : prédiction de la probabilité qu'un chirp soit problématique
(valeur entre 0 et 1, où 0 = chirp sûrement normal, 1 = chirp sûrement problématique).

📊 Jeu de données

Chaque ligne représente un chirp publié sur Chirper Y, avec les attributs suivants :

• id – identifiant unique du chirp
• chirp – texte du chirp
• label – uniquement dans train.csv, 1 (problématique) / 0 (normal)

Objectif final : prédire label pour les lignes de test.csv.

📝 Tâches

Les deux premières sous-tâches vérifient l'analyse simple des chirp-s.
La dernière sous-tâche évalue la performance du modèle de classification.

Sous-tâche 1 (10 points)

Déterminez la longueur de chaque chirp en nombre de caractères.

Affichez pour cette sous-tâche un nombre entier.

Sous-tâche 2 (15 points)

Comptez combien d'occurrences du caractère # existent dans le chirp
(indicateur important pour les hashtags excessifs, adorés par les spammeurs 😄).

Sous-tâche 3 (75 points)

Construisez un modèle de classification qui prédit la probabilité qu'un chirp
soit problématique (p ∈ [0,1]) pour chaque ligne du test.

L'évaluation se fait en utilisant la courbe ROC et AUC (Area Under the ROC Curve).

🧮 Évaluation

• AUC ≥ 0.95 → 75 points
• AUC ≤ 0.80 → 0 points
• L'intervalle entre eux : score proportionnel

Les sous-tâches 1–2 sont évaluées exactement (par comparaison).

📄 Format du fichier de soumission

Le fichier submission.csv doit contenir 3 lignes pour chaque ligne du test,
correspondant aux 3 sous-tâches.

Structure :

1subtaskID,datapointID,answer

où :

où :

• subtaskID – 1, 2 ou 3
• datapointID – valeur id
• answer – dépend de la tâche :
  • Sous-tâche 1 : longueur du chirp (nombre entier)
  • Sous-tâche 2 : nombre d'occurrences du caractère # (nombre entier)
  • Sous-tâche 3 : probabilité que le chirp soit problématique (nombre réel 0–1)

Exemple pour id = 25758 :

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Métrique d'évaluation : ROC AUC 📈

Pour la Sous-tâche 3, l'évaluation se fait en utilisant ROC AUC (Area Under the ROC Curve).
C'est une mesure unique qui synthétise la performance d'un classificateur
pour tous les seuils de décision possibles.

Comment calcule-t-on ROC AUC ?

1. On trace la courbe ROC, qui représente :

   • TPR (True Positive Rate) – proportion de chirp-s problématiques détectés correctement
   • FPR (False Positive Rate) – proportion de chirp-s normaux marqués à tort comme problématiques

2. L'aire sous la courbe (AUC) se calcule en utilisant la règle des trapèzes :

   • La courbe est divisée en trapèzes en utilisant les lignes verticales aux valeurs FPR
     et les lignes horizontales aux valeurs TPR
   • On additionne les aires des trapèzes pour obtenir la valeur finale de l'AUC

3. Interprétation du score :

   • ROC AUC = 1 🏆 → classificateur parfait, Y devient le rêve de Melon Husk
   • ROC AUC = 0.5 🎲 → classificateur aléatoire, aussi utile qu'un sondage sur Chirper
   • 0.5 < ROC AUC < 1 📈 → à quel point le modèle sépare bien les chirp-s normaux des problématiques