Automaattinen roskapostien tunnistusjärjestelmä

💌 Automaattinen roskapostien tunnistusjärjestelmä 📧

Yrityksesi haluaa suojella käyttäjiä ei-toivotuilta sähköposteilta (roskaposti).
Tätä varten on päätetty rakentaa automaattinen järjestelmä, joka tunnistaa
roskapostit ja erottaa ne laillisista (ei-roskaposti) sähköposteista.

Olet saanut joukon merkittyjä sähköposteja ja sinun täytyy rakentaa malli,
joka pystyy luokittelemaan uusia sähköposteja.

Käytettävissäsi on kaksi tiedostoa:

• train.csv - historialliset sähköpostit merkinnällä label (spam = 1 / nonspam = 0)
• test.csv - uudet sähköpostit, ilman merkintää

Päätavoite: ennustaa todennäköisyys, että sähköposti on roskapostia (arvo välillä 0 ja 1, missä 0 = varmasti ei-roskaposti, 1 = varmasti roskaposti).

📊 Tietojoukko

Jokainen rivi edustaa sähköpostia, jolla on seuraavat attribuutit:

• sample_id - yksilöllinen tunniste
• text - sähköpostin sisältö
• label - vain train.csv:ssä, 1 (roskaposti)/ 0 (ei-roskaposti)

Lopullinen tavoite: ennusta label test.csv:n riveille.

📝 Tehtävät

Kaksi ensimmäistä alitehtävää tarkistavat sähköpostien yksinkertaisen analyysin.
Viimeinen alitehtävä arvioi luokittelumallia.

Alitehtävä 1 (10 pistettä)

Määritä jokaisen sähköpostin pituus merkkien lukumääränä.

Näytä tälle alitehtävälle kokonaisluku.

Alitehtävä 2 (15 pistettä)

Laske kuinka monta kertaa sana free esiintyy sähköpostissa.

Alitehtävä 3 (75 pistettä)

Rakentakaa luokittelumalli, joka ennustaa todennäköisyyden, että sähköposti on roskapostia (p ∈ [0,1]) jokaiselle testin riville.

Arviointi tehdään käyttäen ROC-käyrää ja AUC:ta (Area Under the ROC Curve).

🧮 Arviointi

• AUC ≥ 0.95 → 75 pistettä
• AUC ≤ 0.80 → 0 pistettä
• Niiden välinen väli: suhteellinen pisteytys

Alitehtävät 1–2 arvioidaan tarkasti (vertailulla).

📄 Palautustiedoston muoto

Tiedoston submission.csv tulee sisältää 3 riviä jokaista testin riviä kohden,
vastaten 3 alitehtävää.

Rakenne:

1subtaskID, datapointID, answer

missä:

• subtaskID - 1, 2 tai 3
• datapointID - sample_id-arvo
• answer - riippuu tehtävästä:
  • Alitehtävä 1: sähköpostin pituus (kokonaisluku)
  • Alitehtävä 2: sanan free esiintymiskertojen määrä (kokonaisluku)
  • Alitehtävä 3: todennäköisyys, että sähköposti on roskapostia (reaaliluku 0–1)

Esimerkki sample_id = 00042:lle:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Arviointimetriikka: ROC AUC 📈

Alitehtävälle 3 arviointi tehdään käyttäen ROC AUC:ta (Area Under the ROC Curve).
Tämä on yksittäinen mitta, joka tiivistää luokittelijan suorituskyvyn kaikille mahdollisille päätöskynnyksille.

Kuinka ROC AUC lasketaan?

1. Piirretään ROC-käyrä, joka esittää:
   • TPR (True Positive Rate) - hyväksyttyjen hakemusten oikea hyväksymisaste
   • FPR (False Positive Rate) - hylättyjen hakemusten virheellinen hyväksymisaste

2. Käyrän alainen pinta-ala (AUC) lasketaan käyttäen puolisuunnikkaan sääntöä:
   • Käyrä jaetaan puolisuunnikkaasiin käyttäen pystysuoria viivoja FPR-arvoissa ja vaakasuoria viivoja TPR-arvoissa
   • Puolisuunnikkaiden pinta-alat lasketaan yhteen lopullisen AUC-arvon saamiseksi

3. Pisteiden tulkinta:
   • ROC AUC = 1 🏆 → täydellinen luokittelija, kaikki hakemukset luokitellaan oikein
   • ROC AUC = 0.5 🎲 → satunnainen luokittelija, ei ennustevoimaa
   • 0.5 < ROC AUC < 1 📈 → kuinka hyvin luokittelija erottaa luokat