Спам электрондық хаттарды автоматты түрде анықтау жүйесі

💌 Спам электрондық хаттарды автоматты түрде анықтау жүйесі 📧

Сіздің компанияңыз пайдаланушыларды қажет емес электрондық хаттардан (спам) қорғауды қалайды.
Ол үшін спам электрондық хаттарды анықтайтын және оларды заңды хаттардан (спам емес) бөлетін
автоматты жүйе құру шешілді.

Сізге белгіленген электрондық хаттар жиынтығы берілді және жаңа электрондық хаттарды
жіктей алатын модель құру керек.

Сізге екі файл берілді:

• train.csv - label белгісі бар тарихи электрондық хаттар (spam = 1 / nonspam = 0)
• test.csv - белгісі жоқ жаңа электрондық хаттар

Негізгі мақсат: электрондық хаттың спам болу ықтималдығын болжау (0 мен 1 арасындағы мән, мұндағы 0 = спам емес сенімді, 1 = спам сенімді).

📊 Деректер жиынтығы

Әрбір жол электрондық хатты білдіреді, келесі атрибуттармен:

• sample_id - бірегей идентификатор
• text - электрондық хат мазмұны
• label - тек train.csv-де, 1 (спам)/ 0 (спам емес)

Соңғы мақсат: test.csv жолдары үшін label болжау.

📝 Тапсырмалар

Алғашқы екі ішкі тапсырма электрондық хаттардың қарапайым талдауын тексереді.
Соңғы ішкі тапсырма жіктеу моделін бағалайды.

Ішкі тапсырма 1 (10 ұпай)

Әрбір электрондық хаттың ұзындығын таңбалар саны ретінде анықтаңыз.

Бұл ішкі тапсырма үшін бүтін санды көрсетіңіз.

Ішкі тапсырма 2 (15 ұпай)

Электрондық хатта free сөзінің неше рет кездесетінін санаңыз.

Ішкі тапсырма 3 (75 ұпай)

Тесттің әрбір жолы үшін электрондық хаттың спам болу ықтималдығын (p ∈ [0,1]) болжайтын жіктеу моделін құрыңыз.

Бағалау ROC қисығы және AUC (Area Under the ROC Curve) арқылы жүзеге асырылады.

🧮 Бағалау

• AUC ≥ 0.95 → 75 ұпай
• AUC ≤ 0.80 → 0 ұпай
• Олардың арасындағы интервал: пропорционалды ұпай

1–2 ішкі тапсырмалар дәл бағаланады (салыстыру арқылы).

📄 Жіберу файлының форматы

submission.csv файлы тесттің әрбір жолы үшін 3 ішкі тапсырмаға сәйкес 3 жолды қамтуы керек.

Құрылым:

1subtaskID, datapointID, answer

мұндағы:

• subtaskID - 1, 2 немесе 3
• datapointID - sample_id мәні
• answer - тапсырмаға байланысты:
  • Ішкі тапсырма 1: электрондық хат ұзындығы (бүтін сан)
  • Ішкі тапсырма 2: free сөзінің кездесу саны (бүтін сан)
  • Ішкі тапсырма 3: электрондық хаттың спам болу ықтималдығы (0–1 нақты сан)

sample_id = 00042 үшін мысал:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Бағалау метрикасы: ROC AUC 📈

Ішкі тапсырма 3 үшін бағалау ROC AUC (Area Under the ROC Curve) арқылы жүзеге асырылады.
Бұл барлық мүмкін шешім табалдырықтары үшін жіктеуіштің өнімділігін жинақтайтын бірегей өлшем.

ROC AUC қалай есептеледі?

1. ROC қисығы сызылады, ол мыналарды білдіреді:
   • TPR (True Positive Rate) - мақұлданған өтініштерді дұрыс мақұлдау жылдамдығы
   • FPR (False Positive Rate) - қабылданбаған өтініштерді қате мақұлдау жылдамдығы

2. Қисық астындағы аудан (AUC) трапеция ережесі арқылы есептеледі:
   • Қисық FPR мәндеріндегі тік сызықтар мен TPR мәндеріндегі көлденең сызықтарды пайдаланып трапецияларға бөлінеді
   • AUC соңғы мәнін алу үшін трапециялардың аудандары қосылады

3. Ұпайды түсіндіру:
   • ROC AUC = 1 🏆 → керемет жіктеуіш, барлық өтініштер дұрыс жіктелген
   • ROC AUC = 0.5 🎲 → кездейсоқ жіктеуіш, болжау күші жоқ
   • 0.5 < ROC AUC < 1 📈 → жіктеуіш кластарды қаншалықты жақсы бөледі