Automatizált spam email észlelő rendszer

💌 Automatizált spam email észlelő rendszer 📧

A céged szeretné megvédeni a felhasználókat a nem kívánt emailektől (spam).
Ehhez úgy döntöttek, hogy építenek egy automatikus rendszert, amely azonosítja
a spam emaileket és elkülöníti őket a legitim (nonspam) emailektől.

Kaptál egy címkézett email készletet és egy modellt kell építened,
amely képes osztályozni az új emaileket.

Két fájl áll rendelkezésedre:

• train.csv - történeti emailek label címkével (spam = 1 / nonspam = 0)
• test.csv - új emailek, címke nélkül

Fő cél: annak valószínűségének előrejelzése, hogy egy email spam (érték 0 és 1 között, ahol 0 = biztosan nonspam, 1 = biztosan spam).

📊 Adathalmaz

Minden sor egy emailt reprezentál, a következő attribútumokkal:

• sample_id - egyedi azonosító
• text - az email tartalma
• label - csak a train.csv-ben, 1 (spam)/ 0 (nonspam)

Végső cél: label előrejelzése a test.csv soraihoz.

📝 Feladatok

Az első két részfeladat az emailek egyszerű elemzését ellenőrzi.
Az utolsó részfeladat az osztályozási modellt értékeli.

1. részfeladat (10 pont)

Határozd meg minden email hosszát karakterek számában.

Ehhez a részfeladathoz egy egész számot jelenítsd meg.

2. részfeladat (15 pont)

Számold meg, hány előfordulása van a free szónak az emailben.

3. részfeladat (75 pont)

Építs egy osztályozási modellt, amely előrejelzi annak valószínűségét, hogy egy email spam (p ∈ [0,1]) a teszt minden sorához.

Az értékelés ROC görbe és AUC (Area Under the ROC Curve) használatával történik.

🧮 Értékelés

• AUC ≥ 0.95 → 75 pont
• AUC ≤ 0.80 → 0 pont
• A kettő közötti intervallum: arányos pontszám

Az 1–2. részfeladatok pontosan értékelődnek (összehasonlítással).

📄 A beadandó fájl formátuma

A submission.csv fájlnak 3 sort kell tartalmaznia minden teszt sorhoz,
a 3 részfeladatnak megfelelően.

Struktúra:

1subtaskID, datapointID, answer

ahol:

• subtaskID - 1, 2 vagy 3
• datapointID - a sample_id értéke
• answer - a feladattól függően:
  • 1. részfeladat: az email hossza (egész szám)
  • 2. részfeladat: a free szó előfordulásainak száma (egész szám)
  • 3. részfeladat: annak valószínűsége, hogy az email spam (valós szám 0–1)

Példa sample_id = 00042 esetén:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Értékelési metrika: ROC AUC 📈

A 3. részfeladatnál az értékelés ROC AUC (Area Under the ROC Curve) használatával történik.
Ez egy egyedi mérték, amely összefoglalja egy osztályozó teljesítményét az összes lehetséges döntési küszöbhöz.

Hogyan számítódik a ROC AUC?

1. Megrajzolódik a ROC görbe, amely a következőket ábrázolja:
   • TPR (True Positive Rate) - a jóváhagyott kérelmek helyes jóváhagyási aránya
   • FPR (False Positive Rate) - az elutasított kérelmek helytelenül jóváhagyott aránya

2. A görbe alatti terület (AUC) a trapéz szabály használatával számítódik:
   • A görbe trapézokra oszlik az FPR értékeknél húzott függőleges vonalak és a TPR értékeknél húzott vízszintes vonalak segítségével
   • A trapézok területei összeadódnak az AUC végső értékének megkapásához

3. A pontszám értelmezése:
   • ROC AUC = 1 🏆 → tökéletes osztályozó, minden kérelem helyesen osztályozott
   • ROC AUC = 0.5 🎲 → véletlenszerű osztályozó, nincs előrejelző erő
   • 0.5 < ROC AUC < 1 📈 → mennyire jól választja szét az osztályozó az osztályokat