מערכת אוטומטית לזיהוי הודעות דואר זבל

💌 מערכת אוטומטית לזיהוי דואר זבל 📧

החברה שלך רוצה להגן על המשתמשים מפני דוא"ל לא רצוי (ספאם).
לשם כך, הוחלט לבנות מערכת אוטומטית שתזהה
דוא"ל ספאם ותפריד אותו מהדוא"ל הלגיטימי (לא ספאם).

קיבלת סט של דוא"ל מתויגים ועליך לבנות מודל
שיוכל לסווג דוא"ל חדש.

הועמדו לרשותך שני קבצים:

• train.csv - דוא"ל היסטורי עם התווית label (spam = 1 / nonspam = 0)
• test.csv - דוא"ל חדש, ללא תווית

המטרה העיקרית: חיזוי הסתברות שדוא"ל הוא ספאם (ערך בין 0 ל-1, כאשר 0 = לא ספאם בוודאות, 1 = ספאם בוודאות).

📊 מערך הנתונים

כל שורה מייצגת דוא"ל, עם התכונות הבאות:

• sample_id - מזהה ייחודי
• text - תוכן הדוא"ל
• label - רק ב-train.csv, 1 (ספאם)/ 0 (לא ספאם)

המטרה הסופית: חזה label עבור השורות ב-test.csv.

📝 משימות

שתי המשימות הראשונות בודקות ניתוח פשוט של הדוא"ל.
המשימה האחרונה מעריכה את מודל הסיווג.

משימה 1 (10 נקודות)

קבע את אורך כל דוא"ל כמספר תווים.

הצג עבור משימה זו מספר שלם.

משימה 2 (15 נקודות)

ספור כמה הופעות של המילה free קיימות בדוא"ל.

משימה 3 (75 נקודות)

בנה מודל סיווג שחוזה את ההסתברות שדוא"ל הוא ספאם (p ∈ [0,1]) עבור כל שורה בבדיקה.

ההערכה נעשית באמצעות עקומת ROC ו-AUC (Area Under the ROC Curve).

🧮 הערכה

• AUC ≥ 0.95 → 75 נקודות
• AUC ≤ 0.80 → 0 נקודות
• הטווח ביניהם: ציון פרופורציונלי

משימות 1–2 מוערכות בדיוק (באמצעות השוואה).

📄 פורמט קובץ ההגשה

הקובץ submission.csv חייב להכיל 3 שורות עבור כל שורה בבדיקה,
המתאימות ל-3 המשימות.

מבנה:

1subtaskID, datapointID, answer

כאשר:

• subtaskID - 1, 2 או 3
• datapointID - הערך sample_id
• answer - תלוי במשימה:
  • משימה 1: אורך הדוא"ל (מספר שלם)
  • משימה 2: מספר הופעות המילה free (מספר שלם)
  • משימה 3: הסתברות שהדוא"ל הוא ספאם (מספר ממשי 0–1)

דוגמה עבור sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 מדד הערכה: ROC AUC 📈

עבור משימה 3, ההערכה נעשית באמצעות ROC AUC (Area Under the ROC Curve).
זהו מדד יחיד המסכם את הביצועים של מסווג עבור כל הספים האפשריים להחלטה.

איך מחשבים ROC AUC?

1. מתווה עקומת ROC, המייצגת:
   • TPR (True Positive Rate) - שיעור האישור הנכון של בקשות מאושרות
   • FPR (False Positive Rate) - שיעור בקשות שנדחו שאושרו בטעות

2. השטח מתחת לעקומה (AUC) מחושב באמצעות כלל הטרפזים:
   • העקומה מחולקת לטרפזים באמצעות קווים אנכיים בערכי FPR וקווים אופקיים בערכי TPR
   • מחברים את שטחי הטרפזים כדי לקבל את הערך הסופי של AUC

3. פרשנות הציון:
   • ROC AUC = 1 🏆 → מסווג מושלם, כל הבקשות מסווגות נכון
   • ROC AUC = 0.5 🎲 → מסווג אקראי, ללא כוח חיזוי
   • 0.5 < ROC AUC < 1 📈 → עד כמה טוב המסווג מפריד בין המחלקות