Geautomatiseerd spamdetectiesysteem voor e-mails

💌 Geautomatiseerd systeem voor detectie van spam e-mails 📧

Je bedrijf wil gebruikers beschermen tegen ongewenste e-mails (spam).
Hiervoor is besloten om een automatisch systeem te bouwen dat
spam e-mails identificeert en deze scheidt van legitieme (nonspam) e-mails.

Je hebt een set gelabelde e-mails ontvangen en moet een model bouwen
dat nieuwe e-mails kan classificeren.

Er zijn twee bestanden ter beschikking gesteld:

• train.csv - historische e-mails met het label label (spam = 1 / nonspam = 0)
• test.csv - nieuwe e-mails, zonder label

Hoofddoel: voorspelling van de waarschijnlijkheid dat een e-mail spam is (waarde tussen 0 en 1, waarbij 0 = zeker nonspam, 1 = zeker spam).

📊 De dataset

Elke rij vertegenwoordigt een e-mail, met de volgende attributen:

• sample_id - unieke identificator
• text - inhoud van de e-mail
• label - alleen in train.csv, 1 (spam)/ 0 (nonspam)

Einddoel: voorspel label voor de rijen in test.csv.

📝 Taken

De eerste twee subtaken controleren eenvoudige analyse van e-mails.
De laatste subtaak evalueert het classificatiemodel.

Subtaak 1 (10 punten)

Bepaal de lengte van elke e-mail als aantal karakters.

Toon voor deze subtaak een geheel getal.

Subtaak 2 (15 punten)

Tel hoeveel keer het woord free voorkomt in de e-mail.

Subtaak 3 (75 punten)

Bouw een classificatiemodel dat de waarschijnlijkheid voorspelt dat een e-mail spam is (p ∈ [0,1]) voor elke rij in test.

De evaluatie gebeurt met behulp van ROC curve en AUC (Area Under the ROC Curve).

🧮 Evaluatie

• AUC ≥ 0.95 → 75 punten
• AUC ≤ 0.80 → 0 punten
• Het interval daartussen: proportionele score

Subtaken 1–2 worden exact geëvalueerd (door vergelijking).

📄 Formaat van het inzendingsbestand

Het bestand submission.csv moet 3 regels bevatten voor elke rij in test,
overeenkomend met de 3 subtaken.

Structuur:

1subtaskID, datapointID, answer

waarbij:

• subtaskID - 1, 2 of 3
• datapointID - de waarde van sample_id
• answer - afhankelijk van de taak:
  • Subtaak 1: lengte van de e-mail (geheel getal)
  • Subtaak 2: aantal keren dat het woord free voorkomt (geheel getal)
  • Subtaak 3: waarschijnlijkheid dat de e-mail spam is (reëel getal 0–1)

Voorbeeld voor sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Evaluatiemetriek: ROC AUC 📈

Voor Subtaak 3 gebeurt de evaluatie met behulp van ROC AUC (Area Under the ROC Curve).
Dit is een unieke maat die de prestatie van een classificator samenvat voor alle mogelijke beslissingsdrempels.

Hoe wordt ROC AUC berekend?

1. De ROC curve wordt getekend, die het volgende weergeeft:
   • TPR (True Positive Rate) - correcte goedkeuringsrate van goedgekeurde aanvragen
   • FPR (False Positive Rate) - rate van ten onrechte goedgekeurde afgewezen aanvragen

2. Het gebied onder de curve (AUC) wordt berekend met behulp van de trapeziumregel:
   • De curve wordt verdeeld in trapeziums met behulp van verticale lijnen bij FPR-waarden en horizontale lijnen bij TPR-waarden
   • De oppervlakten van de trapeziums worden opgeteld om de eindwaarde van AUC te verkrijgen

3. Interpretatie van de score:
   • ROC AUC = 1 🏆 → perfecte classificator, alle aanvragen worden correct geclassificeerd
   • ROC AUC = 0.5 🎲 → willekeurige classificator, geen voorspellende kracht
   • 0.5 < ROC AUC < 1 📈 → hoe goed de classificator de klassen scheidt