Chirper және оның Melon Husk империясы (Y)

Chirper және Melon Husk-тың империясы (Y)

Контекст

Әлеуметтік желілердің параллель әлемінде Chirper микро-хабарлардың ең танымал платформасы болып табылады.
Жақында платформаны атақты (және сәл эксцентрикалық) Melon Husk сатып алды, ол оны Y атымен ребрендингке шешім қабылдады.

Y-ті таза және достанарақ ету үшін Melon Husk сіздің деректер ғылымы командасынан проблемалық chirp-тарды (спам, маңызсыз мазмұн немесе шу) автоматты түрде анықтайтын классификация моделін құруды сұрайды, осылайша оларды feed-тен сүзуге болады.

Сіз тарихи chirp-тардың жиынтығын алдыңыз және жаңа chirp-тарды жіктей алатын модель құру керек.

Сізге екі файл берілді:

• train.csv – label белгісі бар тарихи chirp-тар (problematic = 1 / normal = 0)
• test.csv – белгісіз жаңа chirp-тар

Негізгі мақсат: chirp-тың проблемалық болу ықтималдығын болжау
(0 мен 1 арасындағы мән, мұндағы 0 = chirp әрине қалыпты, 1 = chirp әрине проблемалық).

📊 Деректер жиынтығы

Әр жол Chirper Y-да жарияланған chirp-ты білдіреді, келесі атрибуттармен:

• id – chirp-тың бірегей идентификаторы
• chirp – chirp-тың мәтіні
• label – тек train.csv-да, 1 (проблемалық) / 0 (қалыпты)

Соңғы мақсат: test.csv-дағы жолдар үшін label-ды болжау.

📝 Тапсырмалар

Алғашқы екі subtask chirp-тардың қарапайым талдауын тексереді.
Соңғы subtask классификация моделінің өнімділігін бағалайды.

Subtask 1 (10 ұпай)

Әр chirp-тың ұзындығын таңбалар саны ретінде анықтаңыз.

Бұл subtask үшін бүтін санды көрсетіңіз.

Subtask 2 (15 ұпай)

Chirp-та # таңбасының неше рет кездесетінін санаңыз
(спамерлер жақсы көретін шамадан тыс hashtag-тар үшін маңызды индикатор 😄).

Subtask 3 (75 ұпай)

Test-тегі әр жол үшін chirp-тың проблемалық болу ықтималдығын (p ∈ [0,1]) болжайтын классификация моделін құрыңыз.

Бағалау ROC қисығы және AUC (Area Under the ROC Curve) арқылы жүргізіледі.

🧮 Бағалау

• AUC ≥ 0.95 → 75 ұпай
• AUC ≤ 0.80 → 0 ұпай
• Олардың арасындағы интервал: пропорционалды ұпай

Subtasks 1–2 дәл бағаланады (салыстыру арқылы).

📄 Жіберу файлының форматы

submission.csv файлы test-тегі әр жол үшін 3 subtasks-қа сәйкес 3 жолды қамтуы керек.

Құрылым:

1subtaskID,datapointID,answer

мұндағы:

мұндағы:

• subtaskID – 1, 2 немесе 3
• datapointID – id мәні
• answer – тапсырмаға байланысты:
  • Subtask 1: chirp-тың ұзындығы (бүтін сан)
  • Subtask 2: # таңбасының кездесу саны (бүтін сан)
  • Subtask 3: chirp-тың проблемалық болу ықтималдығы (0–1 нақты сан)

id = 25758 үшін мысал:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Бағалау метрикасы: ROC AUC 📈

Subtask 3 үшін бағалау ROC AUC (Area Under the ROC Curve) арқылы жүргізіледі.
Бұл классификатордың барлық мүмкін шешім табалдырықтары үшін өнімділігін синтездейтін бірегей өлшем.

ROC AUC қалай есептеледі?

1. ROC қисығы салынады, ол мыналарды білдіреді:

   • TPR (True Positive Rate) – дұрыс анықталған проблемалық chirp-тардың үлесі
   • FPR (False Positive Rate) – қалыпты chirp-тардың проблемалық деп қате белгіленген үлесі

2. Қисық астындағы аудан (AUC) трапеция ережесін қолданып есептеледі:

   • Қисық FPR мәндеріндегі тік сызықтар
     және TPR мәндеріндегі көлденең сызықтар арқылы трапецияларға бөлінеді
   • AUC-тың соңғы мәнін алу үшін трапециялардың аудандары қосылады

3. Ұпайды түсіндіру:

   • ROC AUC = 1 🏆 → мінсіз классификатор, Y Melon Husk-тың арманына айналады
   • ROC AUC = 0.5 🎲 → кездейсоқ классификатор, Chirper-дағы сауалнама сияқты пайдалы
   • 0.5 < ROC AUC < 1 📈 → модель қалыпты chirp-тарды проблемалықтардан қаншалықты жақсы бөледі