Chirper და Melon Husk-ის იმპერია (Y)

Chirper და Melon Husk-ის იმპერია (Y)

კონტექსტი

სოციალური ქსელების პარალელურ სამყაროში, Chirper არის ყველაზე პოპულარული მიკრო-შეტყობინებების პლატფორმა.
ცოტა ხნის წინ პლატფორმა იყიდა ცნობილმა (და ოდნავ ექსცენტრიკულმა) Melon Husk-მა, რომელმაც გადაწყვიტა მისი რებრენდინგი Y სახელით.

Y-ის უფრო სუფთა და მეგობრულად გასაკეთებლად, Melon Husk ითხოვს თქვენი data science გუნდისგან კლასიფიკაციის მოდელის აშენებას, რომელიც ავტომატურად აღმოაჩენს პრობლემურ chirp-ებს (სპამი, არარელევანტური კონტენტი ან ხმაური), რათა ისინი გაფილტროს feed-იდან.

მიიღეთ ისტორიული chirp-ების ნაკრები და უნდა ააშენოთ მოდელი
რომელსაც შეუძლია ახალი chirp-ების კლასიფიკაცია.

თქვენს განკარგულებაში გაქვთ ორი ფაილი:

• train.csv – ისტორიული chirp-ები ეტიკეტით label (problematic = 1 / normal = 0)
• test.csv – ახალი chirp-ები, ეტიკეტის გარეშე

მთავარი მიზანი: chirp-ის პრობლემურობის ალბათობის პრედიქცია
(მნიშვნელობა 0-სა და 1-ს შორის, სადაც 0 = chirp უზრუნველყოფილად ნორმალური, 1 = chirp უზრუნველყოფილად პრობლემური).

📊 მონაცემთა ნაკრები

ყოველი რიგი წარმოადგენს Chirper Y-ზე გამოქვეყნებულ chirp-ს, შემდეგი ატრიბუტებით:

• id – chirp-ის უნიკალური იდენტიფიკატორი
• chirp – chirp-ის ტექსტი
• label – მხოლოდ train.csv-ში, 1 (პრობლემური) / 0 (ნორმალური)

საბოლოო მიზანი: test.csv-ის რიგებისთვის label-ის პრედიქცია.

📝 ამოცანები

პირველი ორი subtask ამოწმებს chirp-ების მარტივ ანალიზს.
ბოლო subtask აფასებს კლასიფიკაციის მოდელის შესრულებას.

Subtask 1 (10 ქულა)

განსაზღვრეთ ყოველი chirp-ის სიგრძე სიმბოლოების რაოდენობით.

ამ subtask-ისთვის გამოიტანეთ მთელი რიცხვი.

Subtask 2 (15 ქულა)

დათვალეთ რამდენი # სიმბოლოს გამოჩენაა chirp-ში
(მნიშვნელოვანი ინდიკატორი ზედმეტი hashtag-ებისთვის, რომლებსაც უყვართ სპამერებს 😄).

Subtask 3 (75 ქულა)

ააშენეთ კლასიფიკაციის მოდელი, რომელიც პრედიქტებს ალბათობას, რომ chirp
იყოს პრობლემური (p ∈ [0,1]) test-ის ყოველი რიგისთვის.

შეფასება ხდება ROC curve-ისა და AUC (Area Under the ROC Curve)-ის გამოყენებით.

🧮 შეფასება

• AUC ≥ 0.95 → 75 ქულა
• AUC ≤ 0.80 → 0 ქულა
• მათ შორის ინტერვალი: პროპორციული ქულა

Subtasks 1–2 ფასდება ზუსტად (შედარებით).

📄 წარდგენის ფაილის ფორმატი

ფაილი submission.csv უნდა შეიცავდეს 3 ხაზს test-ის ყოველი რიგისთვის,
რომლებიც შეესაბამება 3 subtask-ს.

სტრუქტურა:

1subtaskID,datapointID,answer

სადაც:

სადაც:

• subtaskID – 1, 2 ან 3
• datapointID – id-ის მნიშვნელობა
• answer – დამოკიდებულია ამოცანაზე:
  • Subtask 1: chirp-ის სიგრძე (მთელი რიცხვი)
  • Subtask 2: # სიმბოლოს გამოჩენების რაოდენობა (მთელი რიცხვი)
  • Subtask 3: ალბათობა, რომ chirp იყოს პრობლემური (რეალური რიცხვი 0–1)

მაგალითი id = 25758-ისთვის:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 შეფასების მეტრიკა: ROC AUC 📈

Subtask 3-ისთვის, შეფასება ხდება ROC AUC (Area Under the ROC Curve)-ის გამოყენებით.
ეს არის უნიკალური ზომა, რომელიც აჯამებს კლასიფიკატორის შესრულებას
ყველა შესაძლო გადაწყვეტილების ზღვრისთვის.

როგორ ითვლება ROC AUC?

1. იხატება ROC მრუდი, რომელიც წარმოადგენს:

   • TPR (True Positive Rate) – სწორად აღმოჩენილი პრობლემური chirp-ების პროპორცია
   • FPR (False Positive Rate) – ნორმალური chirp-ების პროპორცია, რომლებიც მცდარად მონიშნულია როგორც პრობლემური

2. მრუდის ქვეშ არეალი (AUC) ითვლება ტრაპეციების წესის გამოყენებით:

   • მრუდი იყოფა ტრაპეციებად FPR მნიშვნელობებზე ვერტიკალური ხაზების
     და TPR მნიშვნელობებზე ჰორიზონტალური ხაზების გამოყენებით
   • ტრაპეციების არეალები ემატება AUC-ის საბოლოო მნიშვნელობის მისაღებად

3. ქულის ინტერპრეტაცია:

   • ROC AUC = 1 🏆 → სრულყოფილი კლასიფიკატორი, Y ხდება Melon Husk-ის ოცნება
   • ROC AUC = 0.5 🎲 → შემთხვევითი კლასიფიკატორი, ისეთივე სასარგებლო როგორც Chirper-ზე გამოკითხვა
   • 0.5 < ROC AUC < 1 📈 → რამდენად კარგად ყოფს მოდელი ნორმალურ chirp-ებს პრობლემურისგან