Automatizuota šlamšto el. laiškų aptikimo sistema

💌 Automatizuota šlamšto el. laiškų aptikimo sistema 📧

Jūsų įmonė nori apsaugoti vartotojus nuo nepageidaujamų el. laiškų (šlamšto).
Tam buvo nuspręsta sukurti automatinę sistemą, kuri identifikuotų
šlamšto el. laiškus ir atskirtų juos nuo teisėtų (ne šlamšto).

Gavote pažymėtų el. laiškų rinkinį ir turite sukurti modelį,
kuris galėtų klasifikuoti naujus el. laiškus.

Jums buvo pateikti du failai:

• train.csv - istoriniai el. laiškai su etikete label (spam = 1 / nonspam = 0)
• test.csv - nauji el. laiškai be etiketės

Pagrindinis tikslas: prognozuoti tikimybę, kad el. laiškas yra šlamštas (reikšmė tarp 0 ir 1, kur 0 = tikrai ne šlamštas, 1 = tikrai šlamštas).

📊 Duomenų rinkinys

Kiekviena eilutė atstovauja el. laišką su šiais atributais:

• sample_id - unikalus identifikatorius
• text - el. laiško turinys
• label - tik train.csv, 1 (šlamštas)/ 0 (ne šlamštas)

Galutinis tikslas: prognozuoti label eilutėms iš test.csv.

📝 Užduotys

Pirmosios dvi užduotys tikrina paprastą el. laiškų analizę.
Paskutinė užduotis vertina klasifikavimo modelį.

1 užduotis (10 taškų)

Nustatykite kiekvieno el. laiško ilgį simbolių skaičiumi.

Šiai užduočiai pateikite sveikąjį skaičių.

2 užduotis (15 taškų)

Suskaičiuokite, kiek kartų žodis free pasirodo el. laiške.

3 užduotis (75 taškai)

Sukurkite klasifikavimo modelį, kuris prognozuoja tikimybę, kad el. laiškas yra šlamštas (p ∈ [0,1]) kiekvienai test eilutei.

Vertinimas atliekamas naudojant ROC kreivę ir AUC (Area Under the ROC Curve).

🧮 Vertinimas

• AUC ≥ 0.95 → 75 taškai
• AUC ≤ 0.80 → 0 taškų
• Intervalas tarp jų: proporcinis taškas

1–2 užduotys vertinamos tiksliai (palyginant).

📄 Pateikimo failo formatas

Failas submission.csv turi turėti po 3 eilutes kiekvienai test eilutei,
atitinkančias 3 užduotis.

Struktūra:

1subtaskID, datapointID, answer

kur:

• subtaskID - 1, 2 arba 3
• datapointID - sample_id reikšmė
• answer - priklauso nuo užduoties:
  • 1 užduotis: el. laiško ilgis (sveikasis skaičius)
  • 2 užduotis: žodžio free pasikartojimų skaičius (sveikasis skaičius)
  • 3 užduotis: tikimybė, kad el. laiškas yra šlamštas (realusis skaičius 0–1)

Pavyzdys sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Vertinimo metrika: ROC AUC 📈

3 užduočiai vertinimas atliekamas naudojant ROC AUC (Area Under the ROC Curve).
Tai yra unikalus matas, kuris apibendrinta klasifikatoriaus veikimą visiems galimoms sprendimo riboms.

Kaip skaičiuojamas ROC AUC?

1. Brėžiama ROC kreivė, kuri atstovauja:
   • TPR (True Positive Rate) - teisingas patvirtintų prašymų patvirtinimo koeficientas
   • FPR (False Positive Rate) - neteisingai patvirtintų atmestų prašymų koeficientas

2. Plotas po kreive (AUC) skaičiuojamas naudojant trapecijų taisyklę:
   • Kreivė padalijama į trapeciją naudojant vertikalias linijas FPR reikšmėse ir horizontalias linijas TPR reikšmėse
   • Sudedami trapecijų plotai, kad gautume galutinę AUC reikšmę

3. Rezultato interpretacija:
   • ROC AUC = 1 🏆 → tobulas klasifikatorius, visi prašymai klasifikuojami teisingai
   • ROC AUC = 0.5 🎲 → atsitiktinis klasifikatorius, be prognozavimo galios
   • 0.5 < ROC AUC < 1 📈 → kaip gerai klasifikatorius atskiria klases