Автоматизирана система за откриване на спам имейли

💌 Автоматизирана система за откриване на спам имейли 📧

Вашата компания желае да защити потребителите от нежелани имейли (спам).
За това е решено да се изгради автоматична система, която да идентифицира
спам имейлите и да ги отделя от легитимните (неспам).

Получили сте набор от етикетирани имейли и трябва да изградите модел
който да може да класифицира нови имейли.

На ваше разположение са поставени два файла:

• train.csv - исторически имейли с етикет label (spam = 1 / nonspam = 0)
• test.csv - нови имейли, без етикет

Основна цел: предсказване на вероятността имейл да е спам (стойност между 0 и 1, където 0 = сигурно неспам, 1 = сигурно спам).

📊 Набор от данни

Всеки ред представлява имейл, със следните атрибути:

• sample_id - уникален идентификатор
• text - съдържанието на имейла
• label - само в train.csv, 1 (спам)/ 0 (неспам)

Крайна цел: предскажете label за редовете от test.csv.

📝 Задачи

Първите две подзадачи проверяват простия анализ на имейлите.
Последната подзадача оценява модела за класификация.

Подзадача 1 (10 точки)

Определете дължината на всеки имейл като брой символи.

Покажете за тази подзадача цяло число.

Подзадача 2 (15 точки)

Преброете колко появи на думата free съществуват в имейла.

Подзадача 3 (75 точки)

Изградете модел за класификация, който предсказва вероятността имейл да е спам (p ∈ [0,1]) за всеки ред от test.

Оценката се прави използвайки ROC крива и AUC (Area Under the ROC Curve).

🧮 Оценяване

• AUC ≥ 0.95 → 75 точки
• AUC ≤ 0.80 → 0 точки
• Интервалът между тях: пропорционален резултат

Подзадачи 1–2 се оценяват точно (чрез сравнение).

📄 Формат на файла за подаване

Файлът submission.csv трябва да съдържа по 3 реда за всеки ред от test,
съответстващи на 3-те подзадачи.

Структура:

1subtaskID, datapointID, answer

където:

• subtaskID - 1, 2 или 3
• datapointID - стойността sample_id
• answer - зависи от задачата:
  • Подзадача 1: дължината на имейла (цяло число)
  • Подзадача 2: броят появи на думата free (цяло число)
  • Подзадача 3: вероятността имейлът да е спам (реално число 0–1)

Пример за sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Метрика за оценяване: ROC AUC 📈

За Подзадача 3, оценяването се прави използвайки ROC AUC (Area Under the ROC Curve).
Това е единична мярка, която синтезира производителността на класификатор за всички възможни прагове за решение.

Как се изчислява ROC AUC?

1. Начертава се ROC кривата, която представлява:
   • TPR (True Positive Rate) - правилната степен на одобрение на одобрените заявки
   • FPR (False Positive Rate) - степента на неправилно одобрени отхвърлени заявки

2. Площта под кривата (AUC) се изчислява използвайки правилото на трапецовете:
   • Кривата се разделя на трапеци използвайки вертикалните линии при стойностите FPR и хоризонталните линии при стойностите TPR
   • Събират се площите на трапецовете за получаване на крайната стойност на AUC

3. Интерпретация на резултата:
   • ROC AUC = 1 🏆 → перфектен класификатор, всички заявки са класифицирани правилно
   • ROC AUC = 0.5 🎲 → случаен класификатор, без предсказваща сила
   • 0.5 < ROC AUC < 1 📈 → колко добре класификаторът разделя класовете