Автоматизированная система обнаружения спам-писем

💌 Автоматизированная система обнаружения спам-писем 📧

Ваша компания хочет защитить пользователей от нежелательных писем (спама).
Для этого было принято решение построить автоматическую систему, которая будет идентифицировать
спам-письма и отделять их от легитимных (неспам).

Вы получили набор размеченных писем и должны построить модель,
которая сможет классифицировать новые письма.

В ваше распоряжение предоставлены два файла:

• train.csv - исторические письма с меткой label (spam = 1 / nonspam = 0)
• test.csv - новые письма без метки

Основная цель: предсказание вероятности того, что письмо является спамом (значение между 0 и 1, где 0 = точно неспам, 1 = точно спам).

📊 Набор данных

Каждая строка представляет письмо со следующими атрибутами:

• sample_id - уникальный идентификатор
• text - содержимое письма
• label - только в train.csv, 1 (спам)/ 0 (неспам)

Конечная цель: предсказать label для строк из test.csv.

📝 Задачи

Первые две подзадачи проверяют простой анализ писем.
Последняя подзадача оценивает модель классификации.

Подзадача 1 (10 баллов)

Определите длину каждого письма как количество символов.

Выведите для этой подзадачи целое число.

Подзадача 2 (15 баллов)

Подсчитайте, сколько вхождений слова free есть в письме.

Подзадача 3 (75 баллов)

Постройте модель классификации, которая предсказывает вероятность того, что письмо является спамом (p ∈ [0,1]) для каждой строки из test.

Оценка производится с использованием ROC кривой и AUC (Area Under the ROC Curve).

🧮 Оценка

• AUC ≥ 0.95 → 75 баллов
• AUC ≤ 0.80 → 0 баллов
• Интервал между ними: пропорциональный балл

Подзадачи 1–2 оцениваются точно (путем сравнения).

📄 Формат файла отправки

Файл submission.csv должен содержать по 3 строки для каждой строки из test,
соответствующие 3 подзадачам.

Структура:

1subtaskID, datapointID, answer

где:

• subtaskID - 1, 2 или 3
• datapointID - значение sample_id
• answer - зависит от задачи:
  • Подзадача 1: длина письма (целое число)
  • Подзадача 2: количество вхождений слова free (целое число)
  • Подзадача 3: вероятность того, что письмо является спамом (вещественное число 0–1)

Пример для sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Метрика оценки: ROC AUC 📈

Для Подзадачи 3 оценка производится с использованием ROC AUC (Area Under the ROC Curve).
Это единая мера, которая обобщает производительность классификатора для всех возможных порогов принятия решений.

Как вычисляется ROC AUC?

1. Строится ROC кривая, которая представляет:
   • TPR (True Positive Rate) - доля правильно одобренных одобренных заявок
   • FPR (False Positive Rate) - доля неправильно одобренных отклоненных заявок

2. Площадь под кривой (AUC) вычисляется с использованием правила трапеций:
   • Кривая разделяется на трапеции с помощью вертикальных линий на значениях FPR и горизонтальных линий на значениях TPR
   • Суммируются площади трапеций для получения итогового значения AUC

3. Интерпретация оценки:
   • ROC AUC = 1 🏆 → идеальный классификатор, все заявки классифицированы правильно
   • ROC AUC = 0.5 🎲 → случайный классификатор, без предсказательной силы
   • 0.5 < ROC AUC < 1 📈 → насколько хорошо классификатор разделяет классы