אורקל הדמיון הטקסטואלי

📚 אורקל הדמיון 🔮

בספרייה של הממלכה הגדולה, הארכיונאים מתמודדים עם משימה הולכת וקשה:
אלפי כתבי יד, קלפים וכרוניקות עתיקות צריכים להיות מאורגנים, מושווים ומאוינדקסים.

כדי לעזור להם, האבות הקדמונים יצרו מנגנון אגדי: אורקל הדמיון. זהו
מכשיר המסוגל לקבוע, בדיוק יוצא דופן, כמה דומים
שני קטעי טקסט, ומחזיר ציון בין 0 ל-5.

אבל המנגנון התדרדר עם הזמן, והמועצה הגדולה של הארכיונאים החליטה שיש צורך
בגרסה מודרנית, הבנויה באמצעות למידת מכונה.

לשם כך, הועמדו לרשותך שני קבצים:

• train.csv - הקלפים שהוערו ידנית על ידי הסופרים
• test.csv - זוגות חדשים שצריכים להיות מנותחים על ידי הפתרון שלך

המשימה שלך היא לשחזר את האורקל באמצעות סדרה של ניתוחים ומודל חיזוי סופי.

📊 מערך הנתונים

כל שורה בקבצים train.csv ו-test.csv מייצגת זוג משפטים:

• sampleID – מזהה ייחודי של הזוג
• sentence1 – הטקסט הראשון
• sentence2 – הטקסט השני
• score – רק ב-train.csv, ערך ממשי בין 0 ל-5 המציין דמיון

המטרה הסופית היא לחזות score עבור כל שורה ב-test.csv.

📝 משימות

עבור המשימות המשנה הראשונות, עליכם לנתח את הנתונים שסופקו ב-train.csv ו-test.csv
ולחלץ מידע רלוונטי שונה על המשפטים מהמבחן.

משימת משנה 1 (10 נקודות)

חשבו את האורך של כל משפט (sentence1 ו-sentence2) עבור כל שורה במערך המבחן
ותייגו את הזוג לפי האורך הממוצע:

• Short אם הממוצע < 50
• Medium אם 50 ≤ הממוצע < 100
• Long אם הממוצע ≥ 100

משימת משנה 2 (15 נקודות)

עבור כל שורה בtest, חשבו את מספר המילים בכל משפט (sentence1 ו-sentence2) וקבעו את המספר הכולל לפי הנוסחה:

1מספר_כולל = מס_מילים(sentence1) + מס_מילים(sentence2)

משימת משנה 3 (15 נקודות)

קבעו את ההפרש המוחלט בין אורך sentence1 לאורך sentence2
עבור כל שורה בtest.

במילים אחרות, עבור כל שורה עליכם לחשב:

1|מס_תווים(sentence1) - מס_תווים(sentence2)|

משימת משנה 4 (60 נקודות)

בנו מודל למידת מכונה המסוגל לחזות את הערך המספרי score
עבור כל שורה ב-test.csv.

ההערכה הסופית תתבצע באמצעות MAE (Mean Absolute Error), המחושב כך:

🧮 הערכה

המדד למשימת משנה 4 הוא:

• MAE (Mean Absolute Error) (ככל שהערך נמוך יותר, מספר הנקודות יהיה גבוה יותר).
• אם המודל משיג MAE ≤ 0.65, הפתרון מקבל 60 נקודות.
• אם המודל משיג MAE ≥ 2.0, הפתרון מקבל 0 נקודות.
• עבור ערכי MAE ביניים, הציון מחושב באופן יחסי.

עבור משימות משנה 1-3, התשובות מוערכות בדיוק.

📌 הערות

• טיפולים כמו טוקניזציה, embeddings, מודלים מאומנים מראש מותרים.

📄 פורמט קובץ ההגשה

קובץ submission.csv צריך להכיל 4 שורות עבור כל שורה במבחן,
המתאימות ל-4 משימות המשנה.

המבנה:

1subtaskID datapointID answer

משמעות העמודות:

• subtaskID – מספר בין 1 ל-4

• datapointID – sampleID מהמבחן

• answer – התוצאה:

  • משימת משנה 1: Short / Medium / Long
  • משימת משנה 2: מספר שלם
  • משימת משנה 3: מספר שלם
  • משימת משנה 4: ערך ממשי (ציון חזוי)

דוגמה עבור sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

הצלחה! המועצה הגדולה של הארכיונאים מטילה את תקוותיה עליכם להחיות את אורקל הדמיון! 🧙‍♂️