תיקון טקסטים

✍️ תיקון טקסטים בעידן התקשורת המהירה 💬

בעולם שבו הודעות הופכות קצרות יותר ויותר, מוקלדות במהירות בטלפונים ומופצות באופן מיידי ברשתות החברתיות, איכות השפה הכתובה מתחילה להידרדר. שגיאות דקדוק, מילים חסרות וניסוחים דו-משמעיים הופכים תכופים יותר ויותר.

כדי לנתח ולשפר טקסטים אלה, פלטפורמה חינוכית מפתחת מערכת אוטומטית המסוגלת להפוך משפטים הכתובים באופן לא קשוב לגרסה נכונה וברורה. תפקידך הוא לעזור לה על ידי הצעת מערכת אוטומטית המתקנת טקסטים, מנקודת מבט דקדוקית.

📁 מערך הנתונים

יש לך לרשותך שני קבצים:

• train.csv — מכיל טקסטים שגויים והגרסאות המתוקנות שלהם
• test.csv — מכיל טקסטים שגויים שהמודל צריך להציע עבורם גרסה מתוקנת

כל שורה ב-train.csv כוללת את העמודות הבאות:

• SampleID — המזהה הייחודי של הטקסט
• Text — המשפט המקורי, כפי שנכתב על ידי המשתמש
• RevisedText — הגרסה המתוקנת על ידי מומחה

דוגמה:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Task (100 נקודות)

בנה מערכת שמייצרת גרסה נכונה, מבחינה דקדוקית, למשפטים מ-test.csv.

מערכת ההערכה תחשב ציון סופי המשלב שני היבטים חיוניים:

• דמיון סמנטי
• הבדלים לקסיקליים

נוסחת ההערכה היא:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 נקודות
• final_score ≤ 0.9 → 0 נקודות
• עבור ערכים ביניים מוענק ציון פרופורציונלי.

🔹 Cosine Similarity ו-Edit Distance בתיקון טקסטים

כדי לבנות מערכת אוטומטית לתיקון טקסטים, ההערכה צריכה לקחת בחשבון הן את משמעות המשפט, והן את ההבדלים הלקסיקליים המדויקים. כאן נכנסים cosine_similarity ו-edit_distance.

Cosine Similarity

הגדרה:
Cosine similarity מודד דמיון בין שני וקטורים על ידי חישוב הקוסינוס של הזווית ביניהם. הנוסחה היא:

• A * B הוא המכפלה הסקלרית של הוקטורים
• |A| ו-|B| הם הנורמות שלהם

ב-NLP:

• כל משפט יכול להיות מיוצג על ידי embedding וקטורי (למשל BERT, Sentence-BERT).
• Cosine similarity מציין כמה דומים סמנטית המשפטים, גם אם המילים הכלולות בהם שונות.

דוגמה:

1Text 1: "She forgot her umbrella."2Text 2: "She left her umbrella behind."

• סמנטית: אותן רעיונות → Cosine similarity גבוה

רלוונטיות:
מבטיח לנו שהטקסט המתוקן שומר על אותו רעיון כמו הטקסט המקורי.

Edit Distance (Levenshtein Distance)

הגדרה:
Edit distance מודד מספר מינימלי של פעולות (הוספה, מחיקה, החלפה) הדרושות כדי להפוך מחרוזת אחת לאחרת.

דוגמה:

1Text original: "She forgot her umbrella it started to rain."2Text corectat: "She forgot her umbrella, and then it started to rain."

• פעולות: הוספת פסיק + הוספת הצירוף "and then"
• Edit distance = 6 תווים

רלוונטיות:
משקף הבדלים לקסיקליים ונכונות דקדוקית.

המטריקה הסופית המשלבת את שתיהן

נוסחת הציון הסופי:

• 0.7 Cosine Similarity: נותן עדיפות למשמעות המשפט
• 0.3 Edit Distance: בודק נאמנות לקסיקלית ונכונות

שילוב זה מבטיח שהטקסט המתוקן הוא גם נכון דקדוקית, וגם דומה מבחינה סמנטית לטקסט המקורי.

📄 פורמט קובץ ההגשה

הקובץ submission.csv צריך להכיל שורה אחת לכל טקסט מהמבחן.

השורה הראשונה של הקובץ מכילה את הבאות:

1DatapointID, RevisedText

כאשר:

• DatapointID - SampleID מהמבחן
• RevisedText - הגרסה המתוקנת של הטקסט

דוגמה (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."