Чирпер и империя Мелона Хаска (Y)

Chirper и империя Melon Husk (Y)

Контекст

В параллельном мире социальных сетей Chirper является самой популярной платформой микросообщений.
Недавно платформа была куплена знаменитым (и слегка эксцентричным) Melon Husk, который решил ребрендить её под названием Y.

Чтобы сделать Y более чистой и дружелюбной, Melon Husk просит вашу команду data science построить модель классификации, которая автоматически обнаруживает проблематичные chirp-ы (спам, нерелевантный контент или шум), чтобы их можно было отфильтровать из ленты.

Вы получили набор исторических chirp-ов и должны построить модель,
которая сможет классифицировать новые chirp-ы.

В ваше распоряжение предоставлены два файла:

• train.csv – исторические chirp-ы с меткой label (problematic = 1 / normal = 0)
• test.csv – новые chirp-ы без метки

Основная цель: предсказание вероятности того, что chirp является проблематичным
(значение между 0 и 1, где 0 = точно нормальный chirp, 1 = точно проблематичный chirp).

📊 Набор данных

Каждая строка представляет chirp, опубликованный на Chirper Y, со следующими атрибутами:

• id – уникальный идентификатор chirp-а
• chirp – текст chirp-а
• label – только в train.csv, 1 (проблематичный) / 0 (нормальный)

Конечная цель: предсказать label для строк из test.csv.

📝 Задачи

Первые два подзадания проверяют простой анализ chirp-ов.
Последнее подзадание оценивает производительность модели классификации.

Подзадание 1 (10 баллов)

Определите длину каждого chirp-а как количество символов.

Выведите для этого подзадания целое число.

Подзадание 2 (15 баллов)

Подсчитайте, сколько вхождений символа # есть в chirp-е
(важный индикатор чрезмерных хештегов, любимых спамерами 😄).

Подзадание 3 (75 баллов)

Постройте модель классификации, которая предсказывает вероятность того, что chirp
является проблематичным (p ∈ [0,1]) для каждой строки из test.

Оценка производится с использованием ROC кривой и AUC (Area Under the ROC Curve).

🧮 Оценка

• AUC ≥ 0.95 → 75 баллов
• AUC ≤ 0.80 → 0 баллов
• Интервал между ними: пропорциональный балл

Подзадания 1–2 оцениваются точно (путем сравнения).

📄 Формат файла решения

Файл submission.csv должен содержать 3 строки для каждой строки из test,
соответствующие 3 подзаданиям.

Структура:

1subtaskID,datapointID,answer

где:

где:

• subtaskID – 1, 2 или 3
• datapointID – значение id
• answer – зависит от задачи:
  • Подзадание 1: длина chirp-а (целое число)
  • Подзадание 2: количество вхождений символа # (целое число)
  • Подзадание 3: вероятность того, что chirp проблематичный (вещественное число 0–1)

Пример для id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Метрика оценки: ROC AUC 📈

Для Подзадания 3 оценка производится с использованием ROC AUC (Area Under the ROC Curve).
Это единая мера, которая обобщает производительность классификатора
для всех возможных порогов принятия решений.

Как вычисляется ROC AUC?

1. Строится ROC кривая, которая представляет:

   • TPR (True Positive Rate) – доля проблематичных chirp-ов, обнаруженных правильно
   • FPR (False Positive Rate) – доля нормальных chirp-ов, неправильно помеченных как проблематичные

2. Площадь под кривой (AUC) вычисляется с использованием правила трапеций:

   • Кривая разделяется на трапеции с использованием вертикальных линий при значениях FPR
     и горизонтальных линий при значениях TPR
   • Суммируются площади трапеций для получения финального значения AUC

3. Интерпретация оценки:

   • ROC AUC = 1 🏆 → идеальный классификатор, Y становится мечтой Melon Husk
   • ROC AUC = 0.5 🎲 → случайный классификатор, такой же полезный как опрос на Chirper
   • 0.5 < ROC AUC < 1 📈 → насколько хорошо модель разделяет нормальные и проблематичные chirp-ы