Automatizovaný systém detekcie spam emailov

💌 Automatizovaný systém na detekciu spam emailov 📧

Vaša spoločnosť si želá chrániť používateľov pred nežiaducimi emailmi (spam).
Pre tento účel sa rozhodlo vybudovať automatický systém, ktorý by identifikoval
spam emaily a oddelil ich od legitímnych (nonspam).

Dostali ste sadu označených emailov a musíte vybudovať model
ktorý dokáže klasifikovať nové emaily.

Boli vám poskytnuté dva súbory:

• train.csv - historické emaily s označením label (spam = 1 / nonspam = 0)
• test.csv - nové emaily, bez označenia

Hlavný cieľ: predikcia pravdepodobnosti, že email je spam (hodnota medzi 0 a 1, kde 0 = určite nonspam, 1 = určite spam).

📊 Dátová sada

Každý riadok predstavuje email s nasledujúcimi atribútmi:

• sample_id - jedinečný identifikátor
• text - obsah emailu
• label - len v train.csv, 1 (spam)/ 0 (nonspam)

Konečný cieľ: predpovedať label pre riadky v test.csv.

📝 Úlohy

Prvé dva subtasky overujú jednoduchú analýzu emailov.
Posledný subtask hodnotí klasifikačný model.

Subtask 1 (10 bodov)

Určte dĺžku každého emailu ako počet znakov.

Pre tento subtask zobrazte celé číslo.

Subtask 2 (15 bodov)

Spočítajte koľko výskytov slova free sa nachádza v emaili.

Subtask 3 (75 bodov)

Vytvorte klasifikačný model, ktorý predpovedá pravdepodobnosť, že email je spam (p ∈ [0,1]) pre každý riadok z testu.

Hodnotenie sa vykonáva pomocou ROC krivky a AUC (Area Under the ROC Curve).

🧮 Hodnotenie

• AUC ≥ 0.95 → 75 bodov
• AUC ≤ 0.80 → 0 bodov
• Interval medzi nimi: proporcionálne bodovanie

Subtasky 1–2 sa hodnotia presne (porovnaním).

📄 Formát súboru na odovzdanie

Súbor submission.csv musí obsahovať 3 riadky pre každý riadok z testu,
zodpovedajúce 3 subtaskom.

Štruktúra:

1subtaskID, datapointID, answer

kde:

• subtaskID - 1, 2 alebo 3
• datapointID - hodnota sample_id
• answer - závisí od úlohy:
  • Subtask 1: dĺžka emailu (celé číslo)
  • Subtask 2: počet výskytov slova free (celé číslo)
  • Subtask 3: pravdepodobnosť, že email je spam (reálne číslo 0–1)

Príklad pre sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Metrika hodnotenia: ROC AUC 📈

Pre Subtask 3 sa hodnotenie vykonáva pomocou ROC AUC (Area Under the ROC Curve).
Toto je jedinečná miera, ktorá sumarizuje výkonnosť klasifikátora pre všetky možné prahy rozhodnutia.

Ako sa vypočítava ROC AUC?

1. Nakreslí sa ROC krivka, ktorá predstavuje:
   • TPR (True Positive Rate) - správna miera schválenia schválených žiadostí
   • FPR (False Positive Rate) - miera nesprávne schválených zamietnutých žiadostí

2. Plocha pod krivkou (AUC) sa vypočítava pomocou pravidla lichobežníkov:
   • Krivka sa rozdelí na lichobežníky pomocou vertikálnych čiar pri hodnotách FPR a horizontálnych čiar pri hodnotách TPR
   • Sčítajú sa plochy lichobežníkov na získanie konečnej hodnoty AUC

3. Interpretácia skóre:
   • ROC AUC = 1 🏆 → perfektný klasifikátor, všetky žiadosti sú klasifikované správne
   • ROC AUC = 0.5 🎲 → náhodný klasifikátor, bez prediktívnej sily
   • 0.5 < ROC AUC < 1 📈 → ako dobre klasifikátor oddeľuje triedy