Avtomatiziran sistem za zaznavanje spam e-poštnih sporočil

💌 Avtomatizirani sistem za zaznavanje spam e-poštnih sporočil 📧

Vaše podjetje želi zaščititi uporabnike pred neželeno e-pošto (spam).
Za to se je odločilo za izgradnjo avtomatskega sistema, ki bo identificiral
spam e-poštna sporočila in jih ločil od legitimnih (nonspam).

Prejeli ste nabor označenih e-poštnih sporočil in morate zgraditi model,
ki bo lahko klasificiral nova e-poštna sporočila.

Na voljo imate dve datoteki:

• train.csv - zgodovinska e-poštna sporočila z oznako label (spam = 1 / nonspam = 0)
• test.csv - nova e-poštna sporočila, brez oznake

Glavni cilj: napoved verjetnosti, da je e-poštno sporočilo spam (vrednost med 0 in 1, kjer 0 = zagotovo nonspam, 1 = zagotovo spam).

📊 Nabor podatkov

Vsaka vrstica predstavlja e-poštno sporočilo z naslednjimi atributi:

• sample_id - edinstveni identifikator
• text - vsebina e-poštnega sporočila
• label - samo v train.csv, 1 (spam)/ 0 (nonspam)

Končni cilj: napovedati label za vrstice v test.csv.

📝 Naloge

Prvi dve podnalogi preverjata preprosto analizo e-poštnih sporočil.
Zadnja podnaloga ocenjuje klasifikacijski model.

Podnaloga 1 (10 točk)

Določite dolžino vsakega e-poštnega sporočila kot število znakov.

Za to podnalogo prikažite celo število.

Podnaloga 2 (15 točk)

Preštejte, koliko pojavitev besede free obstaja v e-poštnem sporočilu.

Podnaloga 3 (75 točk)

Zgradite klasifikacijski model, ki napoveduje verjetnost, da je e-poštno sporočilo spam (p ∈ [0,1]) za vsako vrstico v testu.

Ocenjevanje se izvaja z uporabo ROC krivulje in AUC (Area Under the ROC Curve).

🧮 Ocenjevanje

• AUC ≥ 0.95 → 75 točk
• AUC ≤ 0.80 → 0 točk
• Interval med njima: sorazmerno točkovanje

Podnalogi 1–2 se ocenjujeta natančno (s primerjavo).

📄 Format datoteke za oddajo

Datoteka submission.csv mora vsebovati 3 vrstice za vsako vrstico v testu,
ki ustrezajo 3 podnalogam.

Struktura:

1subtaskID, datapointID, answer

kjer:

• subtaskID - 1, 2 ali 3
• datapointID - vrednost sample_id
• answer - odvisno od naloge:
  • Podnaloga 1: dolžina e-poštnega sporočila (celo število)
  • Podnaloga 2: število pojavitev besede free (celo število)
  • Podnaloga 3: verjetnost, da je e-poštno sporočilo spam (realno število 0–1)

Primer za sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Metrika za ocenjevanje: ROC AUC 📈

Za Podnalogo 3 se ocenjevanje izvaja z uporabo ROC AUC (Area Under the ROC Curve).
To je edinstvena mera, ki povzema učinkovitost klasifikatorja za vse možne pragove odločitve.

Kako se izračuna ROC AUC?

1. Nariše se ROC krivulja, ki predstavlja:
   • TPR (True Positive Rate) - pravilna stopnja odobritve odobrenih zahtev
   • FPR (False Positive Rate) - stopnja nepravilno odobrenih zavrnjenih zahtev

2. Površina pod krivuljo (AUC) se izračuna z uporabo pravila trapezov:
   • Krivulja je razdeljena na trapeze z uporabo navpičnih črt pri vrednostih FPR in vodoravnih črt pri vrednostih TPR
   • Seštejejo se površine trapezov za pridobitev končne vrednosti AUC

3. Interpretacija rezultata:
   • ROC AUC = 1 🏆 → popoln klasifikator, vse zahteve so pravilno klasificirane
   • ROC AUC = 0.5 🎲 → naključni klasifikator, brez napovedne moči
   • 0.5 < ROC AUC < 1 📈 → kako dobro klasifikator ločuje razrede