Chirper un Melon Husk impērija (Y)

Chirper un Melon Husk impērija (Y)

Konteksts

Paralēlajā sociālo tīklu pasaulē Chirper ir populārākā mikro-ziņojumu platforma.
Nesen platformu iegādājās slavenais (un nedaudz ekscentrīgais) Melon Husk, kurš nolēma to pārdēvēt par Y.

Lai padarītu Y tīrāku un draudzīgāku, Melon Husk lūdz jūsu datu zinātnes komandai izveidot klasifikācijas modeli, kas automātiski atklātu problemātiskus chirp-us (spam, nerelevants saturs vai troksnis), lai tos varētu izfiltrēt no plūsmas.

Jūs esat saņēmuši vēsturisko chirp-u kopu un jums jāizveido modelis,
kas spētu klasificēt jaunus chirp-us.

Jūsu rīcībā ir divi faili:

• train.csv – vēsturiski chirp-i ar etiķeti label (problematic = 1 / normal = 0)
• test.csv – jauni chirp-i bez etiķetes

Galvenais mērķis: prognozēt varbūtību, ka chirp ir problemātisks
(vērtība starp 0 un 1, kur 0 = droši normāls chirp, 1 = droši problemātisks chirp).

📊 Datu kopa

Katra rinda pārstāv chirp, kas publicēts Chirper Y, ar šādiem atribūtiem:

• id – unikāls chirp identifikators
• chirp – chirp teksts
• label – tikai train.csv, 1 (problemātisks) / 0 (normāls)

Galīgais mērķis: prognozēt label rindām no test.csv.

📝 Uzdevumi

Pirmie divi apakšuzdevumi pārbauda vienkāršu chirp analīzi.
Pēdējais apakšuzdevums novērtē klasifikācijas modeļa veiktspēju.

Apakšuzdevums 1 (10 punkti)

Nosakiet katra chirp garumu kā rakstzīmju skaitu.

Šim apakšuzdevumam parādiet veselu skaitli.

Apakšuzdevums 2 (15 punkti)

Saskaitiet, cik reižu chirpā parādās rakstzīme #
(svarīgs indikators pārmērīgiem hashtag-iem, ko mīl spammeri 😄).

Apakšuzdevums 3 (75 punkti)

Izveidojiet klasifikācijas modeli, kas prognozē varbūtību, ka chirp
ir problemātisks (p ∈ [0,1]) katrai rindai no test.

Novērtēšana notiek, izmantojot ROC līkni un AUC (Area Under the ROC Curve).

🧮 Novērtēšana

• AUC ≥ 0.95 → 75 punkti
• AUC ≤ 0.80 → 0 punkti
• Intervāls starp tiem: proporcionāls punktu skaits

Apakšuzdevumi 1–2 tiek novērtēti precīzi (salīdzinot).

📄 Iesniegšanas faila formāts

Failam submission.csv jāsatur 3 rindas katrai test rindai,
kas atbilst 3 apakšuzdevumiem.

Struktūra:

1subtaskID,datapointID,answer

kur:

kur:

• subtaskID – 1, 2 vai 3
• datapointID – id vērtība
• answer – atkarīgs no uzdevuma:
  • Apakšuzdevums 1: chirp garums (vesels skaitlis)
  • Apakšuzdevums 2: rakstzīmes # parādīšanās skaits (vesels skaitlis)
  • Apakšuzdevums 3: varbūtība, ka chirp ir problemātisks (reāls skaitlis 0–1)

Piemērs id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Novērtēšanas metrika: ROC AUC 📈

Apakšuzdevumam 3 novērtēšana notiek, izmantojot ROC AUC (Area Under the ROC Curve).
Šī ir unikāla mērvienība, kas apkopo klasifikatora veiktspēju
visiem iespējamiem lēmumu sliekšņiem.

Kā aprēķina ROC AUC?

1. Tiek zīmēta ROC līkne, kas attēlo:

   • TPR (True Positive Rate) – pareizi atklāto problemātisko chirp-u proporcija
   • FPR (False Positive Rate) – nepareizi kā problemātiski atzīmēto normālo chirp-u proporcija

2. Laukums zem līknes (AUC) tiek aprēķināts, izmantojot trapeces likumu:

   • Līkne tiek sadalīta trapecēs, izmantojot vertikālās līnijas pie FPR vērtībām
     un horizontālās līnijas pie TPR vērtībām
   • Tiek saskaitīti trapeču laukumi, lai iegūtu galīgo AUC vērtību

3. Rezultāta interpretācija:

   • ROC AUC = 1 🏆 → perfekts klasifikators, Y kļūst par Melon Husk sapni
   • ROC AUC = 0.5 🎲 → nejaušs klasifikators, tikpat noderīgs kā aptauja Chirper
   • 0.5 < ROC AUC < 1 📈 → cik labi modelis atšķir normālos chirp-us no problemātiskajiem