Automatiserat system för detektering av spam-e-post

💌 Automatiserat system för detektering av spam-mejl 📧

Ditt företag vill skydda användarna från oönskade mejl (spam).
För detta har man beslutat att bygga ett automatiskt system som ska identifiera
spam-mejl och separera dem från legitima mejl (nonspam).

Du har fått en uppsättning märkta mejl och behöver bygga en modell
som kan klassificera nya mejl.

Du har fått tillgång till två filer:

• train.csv - historiska mejl med etiketten label (spam = 1 / nonspam = 0)
• test.csv - nya mejl, utan etikett

Huvudsyfte: förutsägelse av sannolikheten att ett mejl är spam (värde mellan 0 och 1, där 0 = säkert nonspam, 1 = säkert spam).

📊 Datamängden

Varje rad representerar ett mejl, med följande attribut:

• sample_id - unik identifierare
• text - mejlets innehåll
• label - endast i train.csv, 1 (spam)/ 0 (nonspam)

Slutmål: förutsäg label för raderna i test.csv.

📝 Uppgifter

De första två deluppgifterna kontrollerar enkel analys av mejlen.
Den sista deluppgiften utvärderar klassificeringsmodellen.

Deluppgift 1 (10 poäng)

Bestäm längden på varje mejl som antal tecken.

Visa för denna deluppgift ett heltal.

Deluppgift 2 (15 poäng)

Räkna hur många förekomster av ordet free som finns i mejlet.

Deluppgift 3 (75 poäng)

Bygg en klassificeringsmodell som förutsäger sannolikheten att ett mejl är spam (p ∈ [0,1]) för varje rad i test.

Utvärderingen görs med ROC curve och AUC (Area Under the ROC Curve).

🧮 Utvärdering

• AUC ≥ 0.95 → 75 poäng
• AUC ≤ 0.80 → 0 poäng
• Intervallet däremellan: proportionell poäng

Deluppgifter 1–2 utvärderas exakt (genom jämförelse).

📄 Format för inlämningsfilen

Filen submission.csv ska innehålla 3 rader för varje rad i test,
motsvarande de 3 deluppgifterna.

Struktur:

1subtaskID, datapointID, answer

där:

• subtaskID - 1, 2 eller 3
• datapointID - värdet sample_id
• answer - beror på uppgift:
  • Deluppgift 1: mejlets längd (heltal)
  • Deluppgift 2: antal förekomster av ordet free (heltal)
  • Deluppgift 3: sannolikheten att mejlet är spam (reellt tal 0–1)

Exempel för sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Utvärderingsmått: ROC AUC 📈

För Deluppgift 3 görs utvärderingen med ROC AUC (Area Under the ROC Curve).
Detta är ett unikt mått som sammanfattar en klassificerares prestanda för alla möjliga beslutströsklar.

Hur beräknas ROC AUC?

1. ROC-kurvan ritas, som representerar:
   • TPR (True Positive Rate) - korrekt godkännandefrekvens för godkända ansökningar
   • FPR (False Positive Rate) - frekvens för felaktigt godkända avvisade ansökningar

2. Arean under kurvan (AUC) beräknas med trapetsregeln:
   • Kurvan delas in i trapetser med vertikala linjer vid FPR-värdena och horisontella linjer vid TPR-värdena
   • Trapetsernas areor adderas för att få det slutliga AUC-värdet

3. Tolkning av poängen:
   • ROC AUC = 1 🏆 → perfekt klassificerare, alla ansökningar klassificeras korrekt
   • ROC AUC = 0.5 🎲 → slumpmässig klassificerare, ingen prediktiv kraft
   • 0.5 < ROC AUC < 1 📈 → hur väl klassificeraren separerar klasserna