Chirper i imperium Melona Huska (Y)

Chirper i imperium Melona Huska (Y)

Kontekst

W równoległym świecie mediów społecznościowych Chirper jest najpopularniejszą platformą mikrowiadomości.
Niedawno platforma została kupiona przez słynnego (i lekko ekscentrycznego) Melona Huska, który postanowił przeprowadzić rebranding pod nazwą Y.

Aby uczynić Y czystszym i bardziej przyjaznym, Melon Husk prosi Twój zespół data science o zbudowanie modelu klasyfikacji, który automatycznie wykryje problematyczne chirp-y (spam, nieistotne treści lub szum), tak aby mogły zostać odfiltrowane z feed-a.

Otrzymałeś zestaw historycznych chirp-ów i musisz zbudować model
który będzie mógł klasyfikować nowe chirp-y.

Zostały Ci udostępnione dwa pliki:

• train.csv – historyczne chirp-y z etykietą label (problematic = 1 / normal = 0)
• test.csv – nowe chirp-y, bez etykiety

Główny cel: predykcja prawdopodobieństwa, że chirp jest problematyczny
(wartość między 0 a 1, gdzie 0 = chirp na pewno normalny, 1 = chirp na pewno problematyczny).

📊 Zestaw danych

Każdy wiersz reprezentuje chirp opublikowany na Chirper Y, z następującymi atrybutami:

• id – unikalny identyfikator chirp-a
• chirp – tekst chirp-a
• label – tylko w train.csv, 1 (problematyczny) / 0 (normalny)

Końcowy cel: przewiduj label dla wierszy z test.csv.

📝 Zadania

Pierwsze dwa podzadania sprawdzają prostą analizę chirp-ów.
Ostatnie podzadanie ocenia wydajność modelu klasyfikacji.

Podzadanie 1 (10 punktów)

Określ długość każdego chirp-a jako liczbę znaków.

Wyświetl dla tego podzadania liczbę całkowitą.

Podzadanie 2 (15 punktów)

Policz ile wystąpień znaku # znajduje się w chirp-ie
(ważny wskaźnik dla nadmiernych hashtag-ów, ulubionych przez spamerów 😄).

Podzadanie 3 (75 punktów)

Zbuduj model klasyfikacji, który przewiduje prawdopodobieństwo, że chirp
jest problematyczny (p ∈ [0,1]) dla każdego wiersza z testu.

Ocena odbywa się za pomocą krzywej ROC i AUC (Area Under the ROC Curve).

🧮 Ocena

• AUC ≥ 0.95 → 75 punktów
• AUC ≤ 0.80 → 0 punktów
• Przedział między nimi: punktacja proporcjonalna

Podzadania 1–2 są oceniane dokładnie (przez porównanie).

📄 Format pliku zgłoszenia

Plik submission.csv musi zawierać po 3 linie dla każdego wiersza z testu,
odpowiadające 3 podzadaniom.

Struktura:

1subtaskID,datapointID,answer

gdzie:

gdzie:

• subtaskID – 1, 2 lub 3
• datapointID – wartość id
• answer – zależy od zadania:
  • Podzadanie 1: długość chirp-a (liczba całkowita)
  • Podzadanie 2: liczba wystąpień znaku # (liczba całkowita)
  • Podzadanie 3: prawdopodobieństwo, że chirp jest problematyczny (liczba rzeczywista 0–1)

Przykład dla id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Metryka oceny: ROC AUC 📈

Dla Podzadania 3, ocena odbywa się za pomocą ROC AUC (Area Under the ROC Curve).
Jest to unikalna miara, która syntetyzuje wydajność klasyfikatora
dla wszystkich możliwych progów decyzyjnych.

Jak oblicza się ROC AUC?

1. Rysuje się krzywą ROC, która przedstawia:

   • TPR (True Positive Rate) – proporcję problematycznych chirp-ów wykrytych poprawnie
   • FPR (False Positive Rate) – proporcję normalnych chirp-ów błędnie oznaczonych jako problematyczne

2. Pole pod krzywą (AUC) oblicza się za pomocą reguły trapezów:

   • Krzywa jest dzielona na trapezy używając linii pionowych przy wartościach FPR
     i linii poziomych przy wartościach TPR
   • Dodaje się pola trapezów, aby uzyskać końcową wartość AUC

3. Interpretacja wyniku:

   • ROC AUC = 1 🏆 → klasyfikator doskonały, Y staje się marzeniem Melona Huska
   • ROC AUC = 0.5 🎲 → klasyfikator losowy, tak samo użyteczny jak ankieta na Chirper
   • 0.5 < ROC AUC < 1 📈 → jak dobrze model oddziela normalne chirp-y od problematycznych