Automatizovani sistem za detekciju spam email-ova

💌 Automatizovani sistem za otkrivanje spam email-ova 📧

Vaša kompanija želi da zaštiti korisnike od neželjenih email-ova (spam).
Za to je odlučeno da se izgradi automatski sistem koji će identifikovati
spam email-ove i odvojiti ih od legitimnih (nonspam).

Dobili ste skup označenih email-ova i trebate da izgradite model
koji može da klasifikuje nove email-ove.

Na raspolaganju su vam dva fajla:

• train.csv - istorijski email-ovi sa oznakom label (spam = 1 / nonspam = 0)
• test.csv - novi email-ovi, bez oznake

Glavni cilj: predikcija verovatnoće da je email spam (vrednost između 0 i 1, gde je 0 = sigurno nonspam, 1 = sigurno spam).

📊 Skup podataka

Svaki red predstavlja email, sa sledećim atributima:

• sample_id - jedinstveni identifikator
• text - sadržaj email-a
• label - samo u train.csv, 1 (spam)/ 0 (nonspam)

Krajnji cilj: predvideti label za redove iz test.csv.

📝 Zadaci

Prva dva podzadatka proveravaju jednostavnu analizu email-ova.
Poslednji podzadatak evaluira model klasifikacije.

Podzadatak 1 (10 poena)

Odredite dužinu svakog email-a kao broj karaktera.

Prikažite za ovaj podzadatak ceo broj.

Podzadatak 2 (15 poena)

Prebrojite koliko pojavljivanja reči free postoji u email-u.

Podzadatak 3 (75 poena)

Izgradite model klasifikacije koji predviđa verovatnoću da je email spam (p ∈ [0,1]) za svaki red iz test-a.

Evaluacija se vrši koristeći ROC krivu i AUC (Area Under the ROC Curve).

🧮 Evaluacija

• AUC ≥ 0.95 → 75 poena
• AUC ≤ 0.80 → 0 poena
• Interval između njih: proporcionalni bodovi

Podzadaci 1–2 se evaluiraju tačno (poređenjem).

📄 Format fajla za predaju

Fajl submission.csv treba da sadrži po 3 linije za svaki red iz test-a,
koje odgovaraju 3 podzadatka.

Struktura:

1subtaskID, datapointID, answer

gde je:

• subtaskID - 1, 2 ili 3
• datapointID - vrednost sample_id
• answer - zavisi od zadatka:
  • Podzadatak 1: dužina email-a (ceo broj)
  • Podzadatak 2: broj pojavljivanja reči free (ceo broj)
  • Podzadatak 3: verovatnoća da je email spam (realan broj 0–1)

Primer za sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Metrika evaluacije: ROC AUC 📈

Za Podzadatak 3, evaluacija se vrši koristeći ROC AUC (Area Under the ROC Curve).
Ovo je jedinstvena mera koja sintetiše performanse klasifikatora za sve moguće pragove odlučivanja.

Kako se računa ROC AUC?

1. Crta se ROC kriva, koja predstavlja:
   • TPR (True Positive Rate) - stopa ispravnog odobravanja odobrenih zahteva
   • FPR (False Positive Rate) - stopa neispravno odobrenih odbačenih zahteva

2. Površina ispod krive (AUC) se računa koristeći pravilo trapeza:
   • Kriva se deli na trapeze koristeći vertikalne linije na vrednostima FPR i horizontalne linije na vrednostima TPR
   • Sabiru se površine trapeza da bi se dobila finalna vrednost AUC

3. Interpretacija skora:
   • ROC AUC = 1 🏆 → savršen klasifikator, svi zahtevi su ispravno klasifikovani
   • ROC AUC = 0.5 🎲 → slučajan klasifikator, bez prediktivne moći
   • 0.5 < ROC AUC < 1 📈 → koliko dobro klasifikator razdvaja klase