Automatisert system for deteksjon av spam-e-poster

💌 Automatisert system for deteksjon av spam-e-poster 📧

Selskapet ditt ønsker å beskytte brukerne mot uønskede e-poster (spam).
For dette har man besluttet å bygge et automatisk system som skal identifisere
spam-e-poster og skille dem fra legitime (ikke-spam).

Du har mottatt et sett med merkede e-poster og må bygge en modell
som kan klassifisere nye e-poster.

Du har fått tilgang til to filer:

• train.csv - historiske e-poster med etiketten label (spam = 1 / nonspam = 0)
• test.csv - nye e-poster, uten etikett

Hovedmål: prediksjon av sannsynligheten for at en e-post er spam (verdi mellom 0 og 1, hvor 0 = sikker ikke-spam, 1 = sikker spam).

📊 Datasettet

Hver rad representerer en e-post, med følgende attributter:

• sample_id - unik identifikator
• text - innholdet i e-posten
• label - kun i train.csv, 1 (spam)/ 0 (ikke-spam)

Endelig mål: prediker label for radene i test.csv.

📝 Oppgaver

De to første deloppgavene verifiserer enkel analyse av e-postene.
Den siste deloppgaven evaluerer klassifikasjonsmodellen.

Deloppgave 1 (10 poeng)

Bestem lengden på hver e-post som antall tegn.

Vis for denne deloppgaven et heltall.

Deloppgave 2 (15 poeng)

Tell hvor mange forekomster av ordet free som finnes i e-posten.

Deloppgave 3 (75 poeng)

Bygg en klassifikasjonsmodell som predikerer sannsynligheten for at en e-post er spam (p ∈ [0,1]) for hver rad i test.

Evalueringen gjøres ved bruk av ROC-kurve og AUC (Area Under the ROC Curve).

🧮 Evaluering

• AUC ≥ 0.95 → 75 poeng
• AUC ≤ 0.80 → 0 poeng
• Intervallet mellom dem: proporsjonalt poeng

Deloppgave 1–2 evalueres nøyaktig (ved sammenligning).

📄 Format for innleveringsfilen

Filen submission.csv må inneholde 3 linjer for hver rad i test,
tilsvarende de 3 deloppgavene.

Struktur:

1subtaskID, datapointID, answer

hvor:

• subtaskID - 1, 2 eller 3
• datapointID - verdien sample_id
• answer - avhenger av oppgaven:
  • Deloppgave 1: lengden på e-posten (heltall)
  • Deloppgave 2: antall forekomster av ordet free (heltall)
  • Deloppgave 3: sannsynligheten for at e-posten er spam (reelt tall 0–1)

Eksempel for sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Evalueringsmetrikk: ROC AUC 📈

For Deloppgave 3 gjøres evalueringen ved bruk av ROC AUC (Area Under the ROC Curve).
Dette er et unikt mål som sammenfatter ytelsen til en klassifikator for alle mulige beslutningsgrenser.

Hvordan beregnes ROC AUC?

1. ROC-kurven tegnes, som representerer:
   • TPR (True Positive Rate) - korrekt rate for godkjenning av godkjente søknader
   • FPR (False Positive Rate) - rate for feilaktig godkjente avviste søknader

2. Arealet under kurven (AUC) beregnes ved bruk av trapesregelen:
   • Kurven deles inn i trapeser ved bruk av vertikale linjer ved FPR-verdiene og horisontale linjer ved TPR-verdiene
   • Arealene til trapesene summeres for å få den endelige AUC-verdien

3. Tolkning av poengsummen:
   • ROC AUC = 1 🏆 → perfekt klassifikator, alle søknader klassifiseres korrekt
   • ROC AUC = 0.5 🎲 → tilfeldig klassifikator, uten prediktiv kraft
   • 0.5 < ROC AUC < 1 📈 → hvor godt klassifikatoren skiller klassene