Automatisiertes System zur Erkennung von Spam-E-Mails

💌 Automatisiertes System zur Spam-E-Mail-Erkennung 📧

Ihr Unternehmen möchte die Nutzer vor unerwünschten E-Mails (Spam) schützen.
Dafür wurde beschlossen, ein automatisches System zu entwickeln, das
Spam-E-Mails identifiziert und sie von legitimen E-Mails (nonspam) trennt.

Sie haben einen Satz von etikettierten E-Mails erhalten und müssen ein Modell
erstellen, das neue E-Mails klassifizieren kann.

Ihnen wurden zwei Dateien zur Verfügung gestellt:

• train.csv - historische E-Mails mit dem Label label (spam = 1 / nonspam = 0)
• test.csv - neue E-Mails ohne Label

Hauptziel: Vorhersage der Wahrscheinlichkeit, dass eine E-Mail Spam ist (Wert zwischen 0 und 1, wobei 0 = sicher nonspam, 1 = sicher spam).

📊 Der Datensatz

Jede Zeile repräsentiert eine E-Mail mit folgenden Attributen:

• sample_id - eindeutige Kennung
• text - Inhalt der E-Mail
• label - nur in train.csv, 1 (spam)/ 0 (nonspam)

Endziel: Vorhersage von label für die Zeilen in test.csv.

📝 Aufgaben

Die ersten beiden Subtasks überprüfen die einfache Analyse der E-Mails.
Der letzte Subtask bewertet das Klassifikationsmodell.

Subtask 1 (10 Punkte)

Bestimmen Sie die Länge jeder E-Mail als Anzahl der Zeichen.

Geben Sie für diesen Subtask eine ganze Zahl aus.

Subtask 2 (15 Punkte)

Zählen Sie, wie viele Vorkommen des Wortes free in der E-Mail existieren.

Subtask 3 (75 Punkte)

Erstellen Sie ein Klassifikationsmodell, das die Wahrscheinlichkeit vorhersagt, dass eine E-Mail Spam ist (p ∈ [0,1]) für jede Zeile im Test.

Die Bewertung erfolgt mit ROC curve und AUC (Area Under the ROC Curve).

🧮 Bewertung

• AUC ≥ 0.95 → 75 Punkte
• AUC ≤ 0.80 → 0 Punkte
• Das Intervall dazwischen: proportionale Punktzahl

Subtasks 1–2 werden exakt bewertet (durch Vergleich).

📄 Format der Einreichungsdatei

Die Datei submission.csv muss 3 Zeilen für jede Zeile im Test enthalten,
entsprechend den 3 Subtasks.

Struktur:

1subtaskID, datapointID, answer

wobei:

• subtaskID - 1, 2 oder 3
• datapointID - der Wert sample_id
• answer - abhängig von der Aufgabe:
  • Subtask 1: Länge der E-Mail (ganze Zahl)
  • Subtask 2: Anzahl der Vorkommen des Wortes free (ganze Zahl)
  • Subtask 3: Wahrscheinlichkeit, dass die E-Mail Spam ist (reelle Zahl 0–1)

Beispiel für sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Bewertungsmetrik: ROC AUC 📈

Für Subtask 3 erfolgt die Bewertung mit ROC AUC (Area Under the ROC Curve).
Dies ist ein einheitliches Maß, das die Leistung eines Klassifikators für alle möglichen Entscheidungsschwellen zusammenfasst.

Wie wird ROC AUC berechnet?

1. Die ROC-Kurve wird gezeichnet, die darstellt:
   • TPR (True Positive Rate) - korrekte Rate der Genehmigung genehmigter Anträge
   • FPR (False Positive Rate) - Rate der fälschlicherweise genehmigten abgelehnten Anträge

2. Die Fläche unter der Kurve (AUC) wird mit der Trapezregel berechnet:
   • Die Kurve wird in Trapeze unterteilt mit vertikalen Linien bei den FPR-Werten und horizontalen Linien bei den TPR-Werten
   • Die Flächen der Trapeze werden addiert, um den endgültigen AUC-Wert zu erhalten

3. Interpretation des Scores:
   • ROC AUC = 1 🏆 → perfekter Klassifikator, alle Anträge werden korrekt klassifiziert
   • ROC AUC = 0.5 🎲 → zufälliger Klassifikator, ohne Vorhersagekraft
   • 0.5 < ROC AUC < 1 📈 → wie gut der Klassifikator die Klassen trennt