Автоматизована система виявлення спам-листів

💌 Автоматизована система виявлення спам-листів 📧

Ваша компанія хоче захистити користувачів від небажаних електронних листів (спаму).
Для цього було вирішено побудувати автоматичну систему, яка б ідентифікувала
спам-листи та відокремлювала їх від легітимних (неспам).

Ви отримали набір позначених електронних листів і повинні побудувати модель,
яка зможе класифікувати нові електронні листи.

Вам було надано два файли:

• train.csv - історичні електронні листи з міткою label (spam = 1 / nonspam = 0)
• test.csv - нові електронні листи без мітки

Основна мета: передбачення ймовірності того, що електронний лист є спамом (значення між 0 і 1, де 0 = точно неспам, 1 = точно спам).

📊 Набір даних

Кожен рядок представляє електронний лист з наступними атрибутами:

• sample_id - унікальний ідентифікатор
• text - вміст електронного листа
• label - тільки в train.csv, 1 (спам)/ 0 (неспам)

Кінцева мета: передбачити label для рядків з test.csv.

📝 Завдання

Перші два підзавдання перевіряють простий аналіз електронних листів.
Останнє підзавдання оцінює модель класифікації.

Підзавдання 1 (10 балів)

Визначте довжину кожного електронного листа як кількість символів.

Виведіть для цього підзавдання ціле число.

Підзавдання 2 (15 балів)

Порахуйте, скільки входжень слова free є в електронному листі.

Підзавдання 3 (75 балів)

Побудуйте модель класифікації, яка передбачає ймовірність того, що електронний лист є спамом (p ∈ [0,1]) для кожного рядка з тесту.

Оцінювання проводиться за допомогою ROC кривої та AUC (Area Under the ROC Curve).

🧮 Оцінювання

• AUC ≥ 0.95 → 75 балів
• AUC ≤ 0.80 → 0 балів
• Інтервал між ними: пропорційний бал

Підзавдання 1–2 оцінюються точно (через порівняння).

📄 Формат файлу подання

Файл submission.csv повинен містити по 3 рядки для кожного рядка з тесту,
що відповідають 3 підзавданням.

Структура:

1subtaskID, datapointID, answer

де:

• subtaskID - 1, 2 або 3
• datapointID - значення sample_id
• answer - залежить від завдання:
  • Підзавдання 1: довжина електронного листа (ціле число)
  • Підзавдання 2: кількість входжень слова free (ціле число)
  • Підзавдання 3: ймовірність того, що електронний лист є спамом (дійсне число 0–1)

Приклад для sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Метрика оцінювання: ROC AUC 📈

Для Підзавдання 3 оцінювання проводиться за допомогою ROC AUC (Area Under the ROC Curve).
Це унікальна міра, яка узагальнює продуктивність класифікатора для всіх можливих порогів рішення.

Як обчислюється ROC AUC?

1. Будується крива ROC, яка представляє:
   • TPR (True Positive Rate) - правильна частота схвалення схвалених заявок
   • FPR (False Positive Rate) - частота неправильно схвалених відхилених заявок

2. Площа під кривою (AUC) обчислюється за допомогою правила трапецій:
   • Крива ділиться на трапеції за допомогою вертикальних ліній на значеннях FPR та горизонтальних ліній на значеннях TPR
   • Додаються площі трапецій для отримання кінцевого значення AUC

3. Інтерпретація балу:
   • ROC AUC = 1 🏆 → ідеальний класифікатор, всі заявки класифіковані правильно
   • ROC AUC = 0.5 🎲 → випадковий класифікатор, без передбачувальної сили
   • 0.5 < ROC AUC < 1 📈 → наскільки добре класифікатор розділяє класи