Automatiseret system til detektion af spam-emails

💌 Automatiseret system til detektion af spam-e-mails 📧

Dit firma ønsker at beskytte brugerne mod uønskede e-mails (spam).
Til dette formål er det besluttet at bygge et automatisk system, der kan identificere
spam-e-mails og adskille dem fra legitime (nonspam).

Du har modtaget et sæt mærkede e-mails og skal bygge en model,
der kan klassificere nye e-mails.

Du har fået stillet to filer til rådighed:

• train.csv - historiske e-mails med etiketten label (spam = 1 / nonspam = 0)
• test.csv - nye e-mails uden etiket

Hovedformålet: forudsigelse af sandsynligheden for at en e-mail er spam (værdi mellem 0 og 1, hvor 0 = sikker nonspam, 1 = sikker spam).

📊 Datasættet

Hver række repræsenterer en e-mail med følgende attributter:

• sample_id - unikt identifikator
• text - e-mailens indhold
• label - kun i train.csv, 1 (spam)/ 0 (nonspam)

Endeligt mål: forudsig label for rækkerne i test.csv.

📝 Opgaver

De første to subtasks verificerer simpel analyse af e-mails.
Det sidste subtask evaluerer klassificeringsmodellen.

Subtask 1 (10 point)

Bestem længden af hver e-mail som antal tegn.

Vis for dette subtask et heltal.

Subtask 2 (15 point)

Tæl hvor mange forekomster af ordet free der findes i e-mailen.

Subtask 3 (75 point)

Byg en klassificeringsmodel, der forudsiger sandsynligheden for at en e-mail er spam (p ∈ [0,1]) for hver række i test.

Evalueringen sker ved hjælp af ROC curve og AUC (Area Under the ROC Curve).

🧮 Evaluering

• AUC ≥ 0.95 → 75 point
• AUC ≤ 0.80 → 0 point
• Intervallet mellem dem: proportional scoring

Subtasks 1–2 evalueres nøjagtigt (ved sammenligning).

📄 Format for submission-filen

Filen submission.csv skal indeholde 3 linjer for hver række i test,
svarende til de 3 subtasks.

Struktur:

1subtaskID, datapointID, answer

hvor:

• subtaskID - 1, 2 eller 3
• datapointID - værdien sample_id
• answer - afhænger af opgaven:
  • Subtask 1: e-mailens længde (heltal)
  • Subtask 2: antal forekomster af ordet free (heltal)
  • Subtask 3: sandsynligheden for at e-mailen er spam (reelt tal 0–1)

Eksempel for sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Evalueringsmetrik: ROC AUC 📈

For Subtask 3 sker evalueringen ved hjælp af ROC AUC (Area Under the ROC Curve).
Dette er et unikt mål, der sammenfatter en klassifikators ydeevne for alle mulige beslutningsgrænser.

Hvordan beregnes ROC AUC?

1. ROC-kurven tegnes, som repræsenterer:
   • TPR (True Positive Rate) - den korrekte godkendelsesrate for godkendte ansøgninger
   • FPR (False Positive Rate) - raten for forkert godkendte afviste ansøgninger

2. Arealet under kurven (AUC) beregnes ved hjælp af trapezreglen:
   • Kurven opdeles i trapezer ved hjælp af lodrette linjer ved FPR-værdierne og vandrette linjer ved TPR-værdierne
   • Trapezernes arealer lægges sammen for at få den endelige AUC-værdi

3. Fortolkning af scoren:
   • ROC AUC = 1 🏆 → perfekt klassifikator, alle ansøgninger klassificeres korrekt
   • ROC AUC = 0.5 🎲 → tilfældig klassifikator, ingen forudsigelseskraft
   • 0.5 < ROC AUC < 1 📈 → hvor godt klassifikatoren adskiller klasserne