Automatiseeritud rämpsposti tuvastamise süsteem

💌 Automaatne rämpsposti tuvastamise süsteem 📧

Teie ettevõte soovib kaitsta kasutajaid soovimatute e-kirjade (rämpsposti) eest.
Selleks on otsustatud ehitada automaatne süsteem, mis tuvastaks
rämpsposti e-kirjad ja eraldaks need õiguspärastest (mitterämpsposti) e-kirjadest.

Olete saanud märgistatud e-kirjade komplekti ja peate ehitama mudeli,
mis suudaks klassifitseerida uusi e-kirju.

Teile on antud kaks faili:

• train.csv - ajaloolised e-kirjad märgisega label (spam = 1 / nonspam = 0)
• test.csv - uued e-kirjad, ilma märgiseta

Peamine eesmärk: e-kirja rämpsposti olemise tõenäosuse prognoosimine (väärtus vahemikus 0 ja 1, kus 0 = kindlasti mitterämpsposti, 1 = kindlasti rämpsposti).

📊 Andmestik

Iga rida esindab e-kirja järgmiste atribuutidega:

• sample_id - unikaalne identifikaator
• text - e-kirja sisu
• label - ainult train.csv-s, 1 (rämpsposti)/ 0 (mitterämpsposti)

Lõppeesmärk: ennustage label test.csv ridadele.

📝 Ülesanded

Esimesed kaks alamülesannet kontrollivad e-kirjade lihtsat analüüsi.
Viimane alamülesanne hindab klassifitseerimismudelit.

Alamülesanne 1 (10 punkti)

Määrake iga e-kirja pikkus märkide arvuna.

Kuvage selle alamülesande jaoks täisarv.

Alamülesanne 2 (15 punkti)

Loendage, mitu korda esineb e-kirjas sõna free.

Alamülesanne 3 (75 punkti)

Ehitage klassifitseerimismudel, mis ennustab tõenäosust, et e-kiri on rämpsposti (p ∈ [0,1]) iga testi rea jaoks.

Hindamine toimub kasutades ROC kõverat ja AUC (Area Under the ROC Curve).

🧮 Hindamine

• AUC ≥ 0.95 → 75 punkti
• AUC ≤ 0.80 → 0 punkti
• Nende vaheline intervall: proportsionaalne punktisumma

Alamülesandeid 1–2 hinnatakse täpselt (võrdlemise teel).

📄 Esitamisfaili formaat

Fail submission.csv peab sisaldama 3 rida iga testi rea kohta,
mis vastavad 3 alamülesandele.

Struktuur:

1subtaskID, datapointID, answer

kus:

• subtaskID - 1, 2 või 3
• datapointID - sample_id väärtus
• answer - sõltub ülesandest:
  • Alamülesanne 1: e-kirja pikkus (täisarv)
  • Alamülesanne 2: sõna free esinemiste arv (täisarv)
  • Alamülesanne 3: tõenäosus, et e-kiri on rämpsposti (reaalarv 0–1)

Näide sample_id = 00042 jaoks:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Hindamismeetrika: ROC AUC 📈

Alamülesande 3 puhul toimub hindamine kasutades ROC AUC (Area Under the ROC Curve).
See on ühene mõõdik, mis võtab kokku klassifitseerija jõudluse kõigi võimalike otsustuslävendite jaoks.

Kuidas arvutatakse ROC AUC?

1. Joonistatakse ROC kõver, mis esindab:
   • TPR (True Positive Rate) - heakskiidetud taotluste õige heakskiitmise määr
   • FPR (False Positive Rate) - valesti heakskiidetud tagasilükatud taotluste määr

2. Kõvera alune pindala (AUC) arvutatakse kasutades trapetsireeglit:
   • Kõver jagatakse trapetsiteks kasutades vertikaalseid jooni FPR väärtuste juures ja horisontaalseid jooni TPR väärtuste juures
   • Trapetsite pindalad liidetakse AUC lõpliku väärtuse saamiseks

3. Tulemuse tõlgendamine:
   • ROC AUC = 1 🏆 → täiuslik klassifitseerija, kõik taotlused on õigesti klassifitseeritud
   • ROC AUC = 0.5 🎲 → juhuslik klassifitseerija, ilma ennustusjõuta
   • 0.5 < ROC AUC < 1 📈 → kui hästi klassifitseerija klasse eraldab