تحديد لغة النص

✍️ تحديد لغة النص 🌐

في عالم معولم، تأتي الرسائل من جميع أنحاء العالم ويمكن أن تكون مكتوبة بلغات متنوعة. لمعالجة هذه النصوص تلقائياً (على سبيل المثال، في تطبيقات الترجمة الآلية) من الضروري أن نتمكن من تحديد لغة كل نص.

دورك هو تطوير نظام تلقائي قادر على تحديد لغة النص، بدءاً من تدريب نموذج بناءً على مجموعة من الأمثلة المُصنفة.

🌍 اللغات المحتملة

يجب أن يعمل النظام التلقائي للغات التالية:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 مجموعة البيانات

لديك ملفان CSV:

• train.csv - يحتوي على نصوص ولغاتها
• test.csv - يحتوي على نصوص يجب على النموذج التنبؤ بلغتها

كل صف في train.csv يحتوي على الأعمدة التالية:

• SampleID - المعرف الفريد للنص
• Text - النص الأصلي
• language - لغة النص

مثال:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

كل صف في test.csv يحتوي على الأعمدة التالية:

• SampleID - المعرف الفريد للنص
• Text - النص الذي يجب التنبؤ بلغته

مثال:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 المهمة (100 نقطة)

اقم ببناء نظام يمكنه تحديد لغة النص للنصوص في test.csv.

يجب حفظ التنبؤات في ملف submission.csv بالتنسيق:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

حيث:

• SampleID - المعرف الفريد للنص من test.csv
• language - اللغة المتنبأ بها من نظامك، والتي يجب أن تكون واحدة من اللغات المحتملة من القائمة التالية:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 التقييم

ستتم مقارنة التنبؤات مع اللغات الحقيقية وسيتم حساب الدقة:

1accuracy = (عدد_التنبؤات_الصحيحة / العدد_الإجمالي_للتنبؤات)

يتم حساب النتيجة النهائية بناءً على الدقة المحققة باستخدام القواعد التالية:

• accuracy ≥ 0.98 → 100 نقطة
• accuracy ≤ 0.9 → 0 نقطة
• للقيم الوسطية يتم منح نقاط متناسبة بين 0 و 100.