זיהוי השפה של טקסט

✍️ זיהוי שפת טקסט 🌐

בעולם גלובלי, הודעות מגיעות מכל קצוות העולם ויכולות להיות כתובות בשפות שונות. כדי לעבד אוטומטית את הטקסטים הללו (למשל, באפליקציות תרגום אוטומטיות) חיוני שנוכל לזהות את השפה של כל טקסט.

התפקיד שלך הוא לפתח מערכת אוטומטית המסוגלת לקבוע את השפה של טקסט, החל מאימון מודל על בסיס קבוצת דוגמאות מתויגות.

🌍 השפות האפשריות

המערכת האוטומטית צריכה לפעול עבור השפות הבאות:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 מערך הנתונים

יש לך שני קבצי CSV:

• train.csv - מכיל טקסטים ואת השפות שלהם
• test.csv - מכיל טקסטים שהמודל צריך לחזות את השפה שלהם

כל שורה ב-train.csv כוללת את העמודות הבאות:

• SampleID - המזהה הייחודי של הטקסט
• Text - הטקסט המקורי
• language - שפת הטקסט

דוגמה:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

כל שורה ב-test.csv כוללת את העמודות הבאות:

• SampleID - המזהה הייחודי של הטקסט
• Text - הטקסט שצריך לחזות את השפה שלו

דוגמה:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 משימה (100 נקודות)

בנה מערכת שיכולה לזהות את שפת הטקסט עבור הטקסטים ב-test.csv.

התחזיות צריכות להישמר בקובץ submission.csv בפורמט:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

כאשר:

• SampleID - המזהה הייחודי של הטקסט מ-test.csv
• language - השפה שחוזה המערכת שלך, שצריכה להיות אחת מהשפות האפשריות מהרשימה הבאה:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 הערכה

התחזיות יושוו עם השפות האמיתיות ותחושב הדיוק:

1accuracy = (מספר_תחזיות_נכונות / מספר_כולל_תחזיות)

הציון הסופי מחושב על בסיס הדיוק שהושג באמצעות הכללים הבאים:

• accuracy ≥ 0.98 → 100 נקודות
• accuracy ≤ 0.9 → 0 נקודות
• עבור ערכים ביניים ניתן ציון פרופורציונלי בין 0 ל-100.