Automatizirani sustav za otkrivanje spam e-mailova

💌 Automatizirani sustav za otkrivanje spam e-mailova 📧

Vaša tvrtka želi zaštititi korisnike od neželjenih e-mailova (spam).
Za to je odlučeno izgraditi automatizirani sustav koji će identificirati
spam e-mailove i odvojiti ih od legitimnih (nonspam).

Dobili ste skup označenih e-mailova i trebate izgraditi model
koji može klasificirati nove e-mailove.

Na raspolaganju su vam dvije datoteke:

• train.csv - povijesni e-mailovi s oznakom label (spam = 1 / nonspam = 0)
• test.csv - novi e-mailovi, bez oznake

Glavni cilj: predviđanje vjerojatnosti da je e-mail spam (vrijednost između 0 i 1, gdje je 0 = sigurno nonspam, 1 = sigurno spam).

📊 Skup podataka

Svaki red predstavlja e-mail, s sljedećim atributima:

• sample_id - jedinstveni identifikator
• text - sadržaj e-maila
• label - samo u train.csv, 1 (spam)/ 0 (nonspam)

Konačni cilj: predvidjeti label za redove iz test.csv.

📝 Zadaci

Prva dva podzadatka provjeravaju jednostavnu analizu e-mailova.
Zadnji podzadatak evaluira model klasifikacije.

Podzadatak 1 (10 bodova)

Odredite duljinu svakog e-maila kao broj znakova.

Prikažite za ovaj podzadatak cijeli broj.

Podzadatak 2 (15 bodova)

Prebrojite koliko pojavljivanja riječi free postoji u e-mailu.

Podzadatak 3 (75 bodova)

Izgradite model klasifikacije koji predviđa vjerojatnost da je e-mail spam (p ∈ [0,1]) za svaki red iz test.

Evaluacija se vrši koristeći ROC krivulju i AUC (Area Under the ROC Curve).

🧮 Evaluacija

• AUC ≥ 0.95 → 75 bodova
• AUC ≤ 0.80 → 0 bodova
• Interval između njih: proporcionalni bodovi

Podzadaci 1–2 se evaluiraju točno (usporedbom).

📄 Format datoteke za predaju

Datoteka submission.csv mora sadržavati 3 linije za svaki red iz test,
koje odgovaraju 3 podzadatka.

Struktura:

1subtaskID, datapointID, answer

gdje je:

• subtaskID - 1, 2 ili 3
• datapointID - vrijednost sample_id
• answer - ovisi o zadatku:
  • Podzadatak 1: duljina e-maila (cijeli broj)
  • Podzadatak 2: broj pojavljivanja riječi free (cijeli broj)
  • Podzadatak 3: vjerojatnost da je e-mail spam (realni broj 0–1)

Primjer za sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Metrika evaluacije: ROC AUC 📈

Za Podzadatak 3, evaluacija se vrši koristeći ROC AUC (Area Under the ROC Curve).
To je jedinstvena mjera koja sintetizira performanse klasifikatora za sve moguće pragove odlučivanja.

Kako se izračunava ROC AUC?

1. Crta se ROC krivulja, koja predstavlja:
   • TPR (True Positive Rate) - stopa ispravnog odobravanja odobrenih zahtjeva
   • FPR (False Positive Rate) - stopa neispravno odobrenih odbačenih zahtjeva

2. Površina ispod krivulje (AUC) se izračunava koristeći pravilo trapeza:
   • Krivulja se dijeli na trapeze koristeći vertikalne linije na vrijednostima FPR i horizontalne linije na vrijednostima TPR
   • Zbrajaju se površine trapeza za dobivanje konačne vrijednosti AUC

3. Interpretacija rezultata:
   • ROC AUC = 1 🏆 → savršen klasifikator, svi zahtjevi su ispravno klasificirani
   • ROC AUC = 0.5 🎲 → slučajan klasifikator, bez prediktivne moći
   • 0.5 < ROC AUC < 1 📈 → koliko dobro klasifikator razlikuje klase