Chirper und Melon Husks Imperium (Y)

Chirper und Melon Husks Imperium (Y)

Kontext

In einer parallelen Welt der sozialen Netzwerke ist Chirper die beliebteste Plattform für Mikronachrichten.
Kürzlich wurde die Plattform von dem berühmten (und leicht exzentrischen) Melon Husk gekauft, der beschlossen hat, sie unter dem Namen Y zu rebrandieren.

Um Y sauberer und benutzerfreundlicher zu machen, fordert Melon Husk dein Data-Science-Team auf, ein Klassifikationsmodell zu erstellen, das automatisch problematische Chirps (Spam, irrelevante Inhalte oder Rauschen) erkennt, damit diese aus dem Feed gefiltert werden können.

Du hast einen Satz historischer Chirps erhalten und musst ein Modell erstellen,
das neue Chirps klassifizieren kann.

Dir wurden zwei Dateien zur Verfügung gestellt:

• train.csv – historische Chirps mit dem Label label (problematic = 1 / normal = 0)
• test.csv – neue Chirps, ohne Label

Hauptziel: Vorhersage der Wahrscheinlichkeit, dass ein Chirp problematisch ist
(Wert zwischen 0 und 1, wobei 0 = sicher normaler Chirp, 1 = sicher problematischer Chirp).

📊 Der Datensatz

Jede Zeile repräsentiert einen auf Chirper Y veröffentlichten Chirp mit folgenden Attributen:

• id – eindeutige Kennung des Chirps
• chirp – Text des Chirps
• label – nur in train.csv, 1 (problematisch) / 0 (normal)

Endziel: Vorhersage von label für die Zeilen in test.csv.

📝 Aufgaben

Die ersten beiden Subtasks überprüfen die einfache Analyse der Chirps.
Der letzte Subtask bewertet die Leistung des Klassifikationsmodells.

Subtask 1 (10 Punkte)

Bestimme die Länge jedes Chirps als Anzahl der Zeichen.

Gib für diesen Subtask eine ganze Zahl aus.

Subtask 2 (15 Punkte)

Zähle, wie viele Vorkommen des Zeichens # im Chirp existieren
(wichtiger Indikator für exzessive Hashtags, geliebt von Spammern 😄).

Subtask 3 (75 Punkte)

Erstellt ein Klassifikationsmodell, das die Wahrscheinlichkeit vorhersagt, dass ein Chirp
problematisch ist (p ∈ [0,1]) für jede Zeile im Test.

Die Bewertung erfolgt mit ROC-Kurve und AUC (Area Under the ROC Curve).

🧮 Bewertung

• AUC ≥ 0.95 → 75 Punkte
• AUC ≤ 0.80 → 0 Punkte
• Das Intervall dazwischen: proportionale Punktzahl

Subtasks 1–2 werden exakt bewertet (durch Vergleich).

📄 Format der Abgabedatei

Die Datei submission.csv muss 3 Zeilen für jede Zeile im Test enthalten,
entsprechend den 3 Subtasks.

Struktur:

1subtaskID,datapointID,answer

wobei:

wobei:

• subtaskID – 1, 2 oder 3
• datapointID – der Wert id
• answer – abhängig von der Aufgabe:
  • Subtask 1: Länge des Chirps (ganze Zahl)
  • Subtask 2: Anzahl der Vorkommen des Zeichens # (ganze Zahl)
  • Subtask 3: Wahrscheinlichkeit, dass der Chirp problematisch ist (reelle Zahl 0–1)

Beispiel für id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Bewertungsmetrik: ROC AUC 📈

Für Subtask 3 erfolgt die Bewertung mit ROC AUC (Area Under the ROC Curve).
Dies ist ein einheitliches Maß, das die Leistung eines Klassifikators
für alle möglichen Entscheidungsschwellen zusammenfasst.

Wie wird ROC AUC berechnet?

1. Die ROC-Kurve wird gezeichnet, die darstellt:

   • TPR (True Positive Rate) – Anteil der korrekt erkannten problematischen Chirps
   • FPR (False Positive Rate) – Anteil der normalen Chirps, die fälschlicherweise als problematisch markiert wurden

2. Die Fläche unter der Kurve (AUC) wird mit der Trapezregel berechnet:

   • Die Kurve wird in Trapeze unterteilt mit vertikalen Linien bei den FPR-Werten
     und horizontalen Linien bei den TPR-Werten
   • Die Flächen der Trapeze werden addiert, um den finalen AUC-Wert zu erhalten

3. Interpretation des Scores:

   • ROC AUC = 1 🏆 → perfekter Klassifikator, Y wird Melon Husks Traum
   • ROC AUC = 0.5 🎲 → zufälliger Klassifikator, so nützlich wie eine Umfrage auf Chirper
   • 0.5 < ROC AUC < 1 📈 → wie gut das Modell normale von problematischen Chirps trennt