تشيربر وإمبراطورية ميلون هاسك (Y)

Chirper وإمبراطورية Melon Husk (Y)

السياق

في عالم موازٍ للشبكات الاجتماعية، Chirper هي أشهر منصة للرسائل المصغرة.
مؤخراً، تم شراء المنصة من قبل الشهير (والغريب الأطوار قليلاً) Melon Husk، الذي قرر إعادة تسميتها باسم Y.

لجعل Y أكثر نظافة وودية، يطلب Melon Husk من فريق علوم البيانات الخاص بك بناء نموذج تصنيف يكتشف تلقائياً chirp-ات إشكالية (spam، محتوى غير ذي صلة أو ضوضاء)، بحيث يمكن تصفيتها من التغذية.

لقد تلقيت مجموعة من chirp-ات تاريخية وتحتاج إلى بناء نموذج
يمكنه تصنيف chirp-ات جديدة.

تم توفير ملفين لك:

• train.csv – chirp-ات تاريخية مع التسمية label (problematic = 1 / normal = 0)
• test.csv – chirp-ات جديدة، بدون تسمية

الهدف الرئيسي: التنبؤ بالاحتمالية أن يكون chirp إشكالياً
(قيمة بين 0 و 1، حيث 0 = chirp عادي بالتأكيد، 1 = chirp إشكالي بالتأكيد).

📊 مجموعة البيانات

كل صف يمثل chirp منشور على Chirper Y، مع الخصائص التالية:

• id – معرف فريد للـ chirp
• chirp – نص الـ chirp
• label – فقط في train.csv، 1 (إشكالي) / 0 (عادي)

الهدف النهائي: التنبؤ بـ label للصفوف في test.csv.

📝 المهام

أول مهمتين فرعيتين تتحققان من التحليل البسيط للـ chirp-ات.
المهمة الفرعية الأخيرة تقيم أداء نموذج التصنيف.

المهمة الفرعية 1 (10 نقاط)

حدد طول كل chirp كعدد من الأحرف.

اعرض لهذه المهمة الفرعية رقماً صحيحاً.

المهمة الفرعية 2 (15 نقطة)

احسب كم مرة يظهر الحرف # في الـ chirp
(مؤشر مهم للهاشتاغات المفرطة، المحبوبة من قبل المرسلين العشوائيين 😄).

المهمة الفرعية 3 (75 نقطة)

ابنوا نموذج تصنيف يتنبأ بالاحتمالية أن يكون chirp
إشكالياً (p ∈ [0,1]) لكل صف في الاختبار.

التقييم يتم باستخدام منحنى ROC و AUC (المساحة تحت منحنى ROC).

🧮 التقييم

• AUC ≥ 0.95 → 75 نقطة
• AUC ≤ 0.80 → 0 نقطة
• الفترة بينهما: نقاط متناسبة

المهام الفرعية 1–2 تُقيم بدقة (من خلال المقارنة).

📄 تنسيق ملف التسليم

يجب أن يحتوي ملف submission.csv على 3 أسطر لكل صف في الاختبار،
مقابلة للمهام الفرعية الثلاث.

البنية:

1subtaskID,datapointID,answer

حيث:

حيث:

• subtaskID – 1، 2 أو 3
• datapointID – قيمة id
• answer – يعتمد على المهمة:
  • المهمة الفرعية 1: طول الـ chirp (رقم صحيح)
  • المهمة الفرعية 2: عدد ظهورات الحرف # (رقم صحيح)
  • المهمة الفرعية 3: احتمالية أن يكون الـ chirp إشكالياً (رقم حقيقي 0–1)

مثال لـ id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 مقياس التقييم: ROC AUC 📈

لـ المهمة الفرعية 3، يتم التقييم باستخدام ROC AUC (المساحة تحت منحنى ROC).
هذا مقياس فريد يلخص أداء مصنف
لجميع عتبات القرار الممكنة.

كيف يُحسب ROC AUC؟

1. يُرسم منحنى ROC، الذي يمثل:

   • TPR (معدل الإيجابية الحقيقية) – نسبة chirp-ات الإشكالية المكتشفة بشكل صحيح
   • FPR (معدل الإيجابية الخاطئة) – نسبة chirp-ات العادية المعلمة خطأً كإشكالية

2. المساحة تحت المنحنى (AUC) تُحسب باستخدام قاعدة شبه المنحرف:

   • المنحنى مقسم إلى أشكال شبه منحرف باستخدام الخطوط العمودية عند قيم FPR
     والخطوط الأفقية عند قيم TPR
   • تُجمع مساحات أشكال شبه المنحرف للحصول على القيمة النهائية لـ AUC

3. تفسير النتيجة:

   • ROC AUC = 1 🏆 → مصنف مثالي، Y تصبح حلم Melon Husk
   • ROC AUC = 0.5 🎲 → مصنف عشوائي، مفيد مثل استطلاع على Chirper
   • 0.5 < ROC AUC < 1 📈 → مدى جودة فصل النموذج للـ chirp-ات العادية عن الإشكالية