Automatizēta surogātpasta e-pasta ziņojumu atklāšanas sistēma

💌 Automatizēta surogātpasta e-pastu atklāšanas sistēma 📧

Jūsu uzņēmums vēlas aizsargāt lietotājus no nevēlamiem e-pastiem (surogātpasts).
Šim nolūkam ir nolemts izveidot automātisku sistēmu, kas identificē
surogātpasta e-pastus un atdala tos no likumīgajiem (ne-surogātpasts).

Jūs esat saņēmis marķētu e-pastu kopu un jums ir jāizveido modelis,
kas spētu klasificēt jaunus e-pastus.

Jūsu rīcībā ir nodoti divi faili:

• train.csv - vēsturiski e-pasti ar etiķeti label (spam = 1 / nonspam = 0)
• test.csv - jauni e-pasti bez etiķetes

Galvenais mērķis: e-pasta surogātpasta varbūtības prognozēšana (vērtība starp 0 un 1, kur 0 = droši ne-surogātpasts, 1 = droši surogātpasts).

📊 Datu kopa

Katra rinda pārstāv e-pastu ar šādiem atribūtiem:

• sample_id - unikāls identifikators
• text - e-pasta saturs
• label - tikai train.csv, 1 (surogātpasts)/ 0 (ne-surogātpasts)

Galīgais mērķis: prognozēt label rindām no test.csv.

📝 Uzdevumi

Pirmie divi apakšuzdevumi pārbauda vienkāršu e-pastu analīzi.
Pēdējais apakšuzdevums novērtē klasifikācijas modeli.

Apakšuzdevums 1 (10 punkti)

Noteikt katra e-pasta garumu kā rakstzīmju skaitu.

Šim apakšuzdevumam attēlojiet veselu skaitli.

Apakšuzdevums 2 (15 punkti)

Saskaitīt, cik reižu vārds free parādās e-pastā.

Apakšuzdevums 3 (75 punkti)

Izveidojiet klasifikācijas modeli, kas prognozē varbūtību, ka e-pasts ir surogātpasts (p ∈ [0,1]) katrai rindai no testa.

Novērtēšana tiek veikta, izmantojot ROC līkni un AUC (Area Under the ROC Curve).

🧮 Novērtēšana

• AUC ≥ 0.95 → 75 punkti
• AUC ≤ 0.80 → 0 punkti
• Intervāls starp tiem: proporcionāls punktu skaits

Apakšuzdevumi 1–2 tiek novērtēti precīzi (salīdzinot).

📄 Iesniegšanas faila formāts

Failam submission.csv jāsatur 3 rindas katrai testa rindai,
kas atbilst 3 apakšuzdevumiem.

Struktūra:

1subtaskID, datapointID, answer

kur:

• subtaskID - 1, 2 vai 3
• datapointID - sample_id vērtība
• answer - atkarīgs no uzdevuma:
  • Apakšuzdevums 1: e-pasta garums (vesels skaitlis)
  • Apakšuzdevums 2: vārda free parādīšanās reižu skaits (vesels skaitlis)
  • Apakšuzdevums 3: varbūtība, ka e-pasts ir surogātpasts (reāls skaitlis 0–1)

Piemērs sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Novērtēšanas metrika: ROC AUC 📈

Apakšuzdevumam 3 novērtēšana tiek veikta, izmantojot ROC AUC (Area Under the ROC Curve).
Šī ir vienota mērvienība, kas apkopo klasifikatora veiktspēju visiem iespējamiem lēmumu sliekšņiem.

Kā aprēķina ROC AUC?

1. Tiek uzzīmēta ROC līkne, kas attēlo:
   • TPR (True Positive Rate) - pareiza apstiprināto pieteikumu apstiprināšanas likme
   • FPR (False Positive Rate) - nepareizi apstiprināto noraidīto pieteikumu likme

2. Laukums zem līknes (AUC) tiek aprēķināts, izmantojot trapeces likumu:
   • Līkne tiek sadalīta trapecēs, izmantojot vertikālās līnijas pie FPR vērtībām un horizontālās līnijas pie TPR vērtībām
   • Tiek saskaitīti trapeču laukumi, lai iegūtu AUC galīgo vērtību

3. Rezultāta interpretācija:
   • ROC AUC = 1 🏆 → perfekts klasifikators, visi pieteikumi tiek klasificēti pareizi
   • ROC AUC = 0.5 🎲 → nejaušs klasifikators, bez prognozēšanas spējas
   • 0.5 < ROC AUC < 1 📈 → cik labi klasifikators atdala klases