Chirper та імперія Melon Husk (Y)

Chirper та імперія Мелона Хаска (Y)

Контекст

У паралельному світі соціальних мереж Chirper є найпопулярнішою платформою мікроповідомлень.
Нещодавно платформу придбав знаменитий (і трохи ексцентричний) Мелон Хаск, який вирішив перебрендити її під назвою Y.

Щоб зробити Y чистішою та дружелюбнішою, Мелон Хаск просить вашу команду data science побудувати модель класифікації, яка автоматично виявлятиме проблематичні chirp-и (спам, нерелевантний контент або шум), щоб їх можна було відфільтрувати з стрічки.

Ви отримали набір історичних chirp-ів і повинні побудувати модель,
яка зможе класифікувати нові chirp-и.

Вам надано два файли:

• train.csv – історичні chirp-и з міткою label (problematic = 1 / normal = 0)
• test.csv – нові chirp-и без мітки

Основна мета: передбачення ймовірності того, що chirp є проблематичним
(значення між 0 і 1, де 0 = chirp точно нормальний, 1 = chirp точно проблематичний).

📊 Набір даних

Кожен рядок представляє chirp, опублікований на Chirper Y, з наступними атрибутами:

• id – унікальний ідентифікатор chirp-а
• chirp – текст chirp-а
• label – тільки в train.csv, 1 (проблематичний) / 0 (нормальний)

Кінцева мета: передбачити label для рядків з test.csv.

📝 Завдання

Перші два підзавдання перевіряють простий аналіз chirp-ів.
Останнє підзавдання оцінює продуктивність моделі класифікації.

Підзавдання 1 (10 балів)

Визначте довжину кожного chirp-а як кількість символів.

Виведіть для цього підзавдання ціле число.

Підзавдання 2 (15 балів)

Порахуйте скільки входжень символу # є в chirp-і
(важливий індикатор надмірних хештегів, улюблених спамерами 😄).

Підзавдання 3 (75 балів)

Побудуйте модель класифікації, яка передбачає ймовірність того, що chirp
є проблематичним (p ∈ [0,1]) для кожного рядка з test.

Оцінювання проводиться за допомогою ROC curve та AUC (Area Under the ROC Curve).

🧮 Оцінювання

• AUC ≥ 0.95 → 75 балів
• AUC ≤ 0.80 → 0 балів
• Інтервал між ними: пропорційний бал

Підзавдання 1–2 оцінюються точно (через порівняння).

📄 Формат файлу подання

Файл submission.csv повинен містити по 3 рядки для кожного рядка з test,
що відповідають 3 підзавданням.

Структура:

1subtaskID,datapointID,answer

де:

де:

• subtaskID – 1, 2 або 3
• datapointID – значення id
• answer – залежить від завдання:
  • Підзавдання 1: довжина chirp-а (ціле число)
  • Підзавдання 2: кількість входжень символу # (ціле число)
  • Підзавдання 3: ймовірність того, що chirp є проблематичним (дійсне число 0–1)

Приклад для id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Метрика оцінювання: ROC AUC 📈

Для Підзавдання 3 оцінювання проводиться за допомогою ROC AUC (Area Under the ROC Curve).
Це унікальна міра, яка узагальнює продуктивність класифікатора
для всіх можливих порогів прийняття рішень.

Як обчислюється ROC AUC?

1. Будується крива ROC, яка представляє:

   • TPR (True Positive Rate) – частка проблематичних chirp-ів, виявлених правильно
   • FPR (False Positive Rate) – частка нормальних chirp-ів, помилково позначених як проблематичні

2. Площа під кривою (AUC) обчислюється за допомогою правила трапецій:

   • Крива ділиться на трапеції за допомогою вертикальних ліній на значеннях FPR
     та горизонтальних ліній на значеннях TPR
   • Додаються площі трапецій для отримання фінального значення AUC

3. Інтерпретація балу:

   • ROC AUC = 1 🏆 → ідеальний класифікатор, Y стає мрією Мелона Хаска
   • ROC AUC = 0.5 🎲 → випадковий класифікатор, такий же корисний як опитування на Chirper
   • 0.5 < ROC AUC < 1 📈 → наскільки добре модель розділяє нормальні chirp-и від проблематичних