Automatizovaný systém detekce spamových e-mailů

💌 Automatizovaný systém detekce spamových emailů 📧

Vaše společnost si přeje chránit uživatele před nechtěnými emaily (spam).
Za tímto účelem se rozhodla vybudovat automatický systém, který by identifikoval
spamové emaily a oddělil je od legitimních (nonspam).

Obdrželi jste sadu označených emailů a musíte vybudovat model,
který dokáže klasifikovat nové emaily.

K dispozici máte dva soubory:

• train.csv - historické emaily s označením label (spam = 1 / nonspam = 0)
• test.csv - nové emaily bez označení

Hlavní cíl: predikce pravděpodobnosti, že email je spam (hodnota mezi 0 a 1, kde 0 = určitě nonspam, 1 = určitě spam).

📊 Datová sada

Každý řádek představuje email s následujícími atributy:

• sample_id - jedinečný identifikátor
• text - obsah emailu
• label - pouze v train.csv, 1 (spam)/ 0 (nonspam)

Konečný cíl: predikovat label pro řádky v test.csv.

📝 Úkoly

První dva podúkoly ověřují jednoduchou analýzu emailů.
Poslední podúkol hodnotí klasifikační model.

Podúkol 1 (10 bodů)

Určete délku každého emailu jako počet znaků.

Pro tento podúkol zobrazte celé číslo.

Podúkol 2 (15 bodů)

Spočítejte, kolik výskytů slova free se nachází v emailu.

Podúkol 3 (75 bodů)

Vybudujte klasifikační model, který predikuje pravděpodobnost, že email je spam (p ∈ [0,1]) pro každý řádek z testu.

Hodnocení se provádí pomocí ROC křivky a AUC (Area Under the ROC Curve).

🧮 Hodnocení

• AUC ≥ 0.95 → 75 bodů
• AUC ≤ 0.80 → 0 bodů
• Interval mezi nimi: proporcionální bodování

Podúkoly 1–2 se hodnotí přesně (porovnáním).

📄 Formát souboru pro odevzdání

Soubor submission.csv musí obsahovat 3 řádky pro každý řádek z testu,
odpovídající 3 podúkolům.

Struktura:

1subtaskID, datapointID, answer

kde:

• subtaskID - 1, 2 nebo 3
• datapointID - hodnota sample_id
• answer - závisí na úkolu:
  • Podúkol 1: délka emailu (celé číslo)
  • Podúkol 2: počet výskytů slova free (celé číslo)
  • Podúkol 3: pravděpodobnost, že email je spam (reálné číslo 0–1)

Příklad pro sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Metrika hodnocení: ROC AUC 📈

Pro Podúkol 3 se hodnocení provádí pomocí ROC AUC (Area Under the ROC Curve).
Jedná se o jedinečnou míru, která shrnuje výkonnost klasifikátoru pro všechny možné rozhodovací prahy.

Jak se počítá ROC AUC?

1. Vykreslí se ROC křivka, která představuje:
   • TPR (True Positive Rate) - správná míra schválení schválených žádostí
   • FPR (False Positive Rate) - míra nesprávně schválených zamítnutých žádostí

2. Plocha pod křivkou (AUC) se počítá pomocí lichoběžníkového pravidla:
   • Křivka je rozdělena na lichoběžníky pomocí svislých čar na hodnotách FPR a vodorovných čar na hodnotách TPR
   • Sečtou se plochy lichoběžníků pro získání konečné hodnoty AUC

3. Interpretace skóre:
   • ROC AUC = 1 🏆 → perfektní klasifikátor, všechny žádosti jsou klasifikovány správně
   • ROC AUC = 0.5 🎲 → náhodný klasifikátor, bez prediktivní síly
   • 0.5 < ROC AUC < 1 📈 → jak dobře klasifikátor odděluje třídy