Chirper и империята на Melon Husk (Y)

Chirper и империята на Melon Husk (Y)

Контекст

В паралелен свят на социалните мрежи, Chirper е най-популярната платформа за микро-съобщения.
Наскоро платформата беше закупена от известния (и леко ексцентричен) Melon Husk, който реши да я ребрандира под името Y.

За да направи Y по-чиста и по-приятелска, Melon Husk иска от вашия екип по data science да построи модел за класификация, който автоматично да открива проблематични chirp-ове (спам, нерелевантно съдържание или шум), така че те да могат да бъдат филтрирани от feed-а.

Получили сте набор от исторически chirp-ове и трябва да построите модел,
който да може да класифицира нови chirp-ове.

На ваше разположение са поставени два файла:

• train.csv – исторически chirp-ове с етикет label (problematic = 1 / normal = 0)
• test.csv – нови chirp-ове, без етикет

Основна цел: предсказване на вероятността chirp-ът да е проблематичен
(стойност между 0 и 1, където 0 = сигурно нормален chirp, 1 = сигурно проблематичен chirp).

📊 Набор от данни

Всеки ред представлява chirp публикуван в Chirper Y, със следните атрибути:

• id – уникален идентификатор на chirp-а
• chirp – текстът на chirp-а
• label – само в train.csv, 1 (проблематичен) / 0 (нормален)

Крайна цел: предскажете label за редовете от test.csv.

📝 Задачи

Първите две подзадачи проверяват простия анализ на chirp-овете.
Последната подзадача оценява производителността на модела за класификация.

Подзадача 1 (10 точки)

Определете дължината на всеки chirp като брой символи.

Покажете за тази подзадача цяло число.

Подзадача 2 (15 точки)

Пребройте колко появи на символа # има в chirp-а
(важен индикатор за прекомерни hashtag-ове, обичани от спамърите 😄).

Подзадача 3 (75 точки)

Построете модел за класификация, който предсказва вероятността chirp-ът
да е проблематичен (p ∈ [0,1]) за всеки ред от test.

Оценяването се прави използвайки ROC curve и AUC (Area Under the ROC Curve).

🧮 Оценяване

• AUC ≥ 0.95 → 75 точки
• AUC ≤ 0.80 → 0 точки
• Интервалът между тях: пропорционален резултат

Подзадачи 1–2 се оценяват точно (чрез сравнение).

📄 Формат на файла за подаване

Файлът submission.csv трябва да съдържа по 3 реда за всеки ред от test,
съответстващи на 3-те подзадачи.

Структура:

1subtaskID,datapointID,answer

където:

където:

• subtaskID – 1, 2 или 3
• datapointID – стойността id
• answer – зависи от задачата:
  • Подзадача 1: дължината на chirp-а (цяло число)
  • Подзадача 2: броят появи на символа # (цяло число)
  • Подзадача 3: вероятността chirp-ът да е проблематичен (реално число 0–1)

Пример за id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Метрика за оценяване: ROC AUC 📈

За Подзадача 3, оценяването се прави използвайки ROC AUC (Area Under the ROC Curve).
Това е единична мярка, която синтезира производителността на класификатор
за всички възможни прагове на решение.

Как се изчислява ROC AUC?

1. Начертава се ROC кривата, която представлява:

   • TPR (True Positive Rate) – пропорцията правилно открити проблематични chirp-ове
   • FPR (False Positive Rate) – пропорцията нормални chirp-ове грешно маркирани като проблематични

2. Площта под кривата (AUC) се изчислява използвайки правилото на трапеците:

   • Кривата се разделя на трапеци използвайки вертикалните линии при стойностите FPR
     и хоризонталните линии при стойностите TPR
   • Събират се площите на трапеците за получаване на крайната стойност на AUC

3. Интерпретация на резултата:

   • ROC AUC = 1 🏆 → перфектен класификатор, Y става мечтата на Melon Husk
   • ROC AUC = 0.5 🎲 → случаен класификатор, толкова полезен колкото анкета в Chirper
   • 0.5 < ROC AUC < 1 📈 → колко добре разделя моделът нормалните от проблематичните chirp-ове