צ'ירפר והאימפריה של מלון האסק (Y)

Chirper ואימפריית מלון האסק (Y)

הקשר

בעולם מקביל של רשתות חברתיות, Chirper היא הפלטפורמה הפופולרית ביותר למיקרו-הודעות.
לאחרונה, הפלטפורמה נרכשה על ידי מלון האסק המפורסם (והמעט אקסצנטרי), שהחליט למתג אותה מחדש תחת השם Y.

כדי להפוך את Y לנקייה וידידותית יותר, מלון האסק מבקש מצוות מדעני הנתונים שלך לבנות מודל סיווג שיזהה אוטומטית chirp-ים בעייתיים (ספאם, תוכן לא רלוונטי או רעש), כך שניתן יהיה לסנן אותם מהפיד.

קיבלת סט של chirp-ים היסטוריים ועליך לבנות מודל
שיוכל לסווג chirp-ים חדשים.

הועמדו לרשותך שני קבצים:

• train.csv – chirp-ים היסטוריים עם התווית label (problematic = 1 / normal = 0)
• test.csv – chirp-ים חדשים, ללא תווית

המטרה העיקרית: חיזוי ההסתברות שchirp יהיה בעייתי
(ערך בין 0 ל-1, כאשר 0 = chirp בטוח רגיל, 1 = chirp בטוח בעייתי).

📊 מערך הנתונים

כל שורה מייצגת chirp שפורסם ב-Chirper Y, עם המאפיינים הבאים:

• id – מזהה ייחודי של ה-chirp
• chirp – טקסט ה-chirp
• label – רק ב-train.csv, 1 (בעייתי) / 0 (רגיל)

המטרה הסופית: חזה label עבור השורות ב-test.csv.

📝 משימות

שתי המשימות הראשונות בודקות ניתוח פשוט של ה-chirp-ים.
המשימה האחרונה מעריכה את ביצועי מודל הסיווג.

משימה 1 (10 נקודות)

קבע את אורך כל chirp כמספר תווים.

הצג עבור משימה זו מספר שלם.

משימה 2 (15 נקודות)

ספור כמה הופעות של התו # קיימות ב-chirp
(אינדיקטור חשוב להאשטגים מוגזמים, אהובים על ספאמרים 😄).

משימה 3 (75 נקודות)

בנו מודל סיווג שחוזה את ההסתברות שchirp
יהיה בעייתי (p ∈ [0,1]) עבור כל שורה בtest.

ההערכה נעשית באמצעות עקומת ROC ו-AUC (Area Under the ROC Curve).

🧮 הערכה

• AUC ≥ 0.95 → 75 נקודות
• AUC ≤ 0.80 → 0 נקודות
• הטווח ביניהם: ציון פרופורציונלי

משימות 1–2 מוערכות בדיוק (על ידי השוואה).

📄 פורמט קובץ ההגשה

הקובץ submission.csv חייב להכיל 3 שורות עבור כל שורה בtest,
המתאימות ל-3 המשימות.

מבנה:

1subtaskID,datapointID,answer

כאשר:

כאשר:

• subtaskID – 1, 2 או 3
• datapointID – הערך id
• answer – תלוי במשימה:
  • משימה 1: אורך ה-chirp (מספר שלם)
  • משימה 2: מספר הופעות התו # (מספר שלם)
  • משימה 3: ההסתברות שה-chirp יהיה בעייתי (מספר ממשי 0–1)

דוגמה עבור id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 מדד ההערכה: ROC AUC 📈

עבור משימה 3, ההערכה נעשית באמצעות ROC AUC (Area Under the ROC Curve).
זהו מדד יחיד שמסכם את ביצועי מסווג
עבור כל הספים האפשריים להחלטה.

איך מחושב ROC AUC?

1. מתוותת עקומת ROC, המייצגת:

   • TPR (True Positive Rate) – שיעור chirp-ים בעייתיים שזוהו נכון
   • FPR (False Positive Rate) – שיעור chirp-ים רגילים שסומנו בטעות כבעייתיים

2. השטח מתחת לעקומה (AUC) מחושב באמצעות כלל הטרפזים:

   • העקומה מחולקת לטרפזים באמצעות קווים אנכיים בערכי FPR
     וקווים אופקיים בערכי TPR
   • מחברים את שטחי הטרפזים כדי לקבל את הערך הסופי של AUC

3. פרשנות הציון:

   • ROC AUC = 1 🏆 → מסווג מושלם, Y הופך לחלום של מלון האסק
   • ROC AUC = 0.5 🎲 → מסווג אקראי, שימושי כמו סקר ב-Chirper
   • 0.5 < ROC AUC < 1 📈 → עד כמה טוב המודל מפריד בין chirp-ים רגילים לבעייתיים