أوراكل التشابه النصي

📚 عرّاف التشابه 🔮

في مكتبة المملكة العظمى، يواجه أمناء المحفوظات مهمة تزداد صعوبة:
آلاف المخطوطات والرقوق والسجلات القديمة تحتاج إلى تنظيم ومقارنة وفهرسة.

لمساعدتهم، أنشأ الأسلاف آلية أسطورية: عرّاف التشابه. هذا هو
جهاز قادر على تحديد، بدقة ملحوظة، مدى تشابه
جزأين من النص، مُرجعاً نقاطاً بين 0 و 5.

لكن الآلية تدهورت مع الزمن، وقرر المجلس الأعظم لأمناء المحفوظات أن هناك حاجة
لنسخة حديثة، مبنية باستخدام التعلم الآلي.

لهذا الغرض، تم وضع ملفين تحت تصرفك:

• train.csv - الرقوق المُعلّقة يدوياً من قبل الكتبة
• test.csv - أزواج جديدة تحتاج إلى تحليل من حلك

مهمتك هي إعادة بناء العرّاف من خلال سلسلة من التحليلات ونموذج تنبؤي نهائي.

📊 مجموعة البيانات

كل صف في ملفي train.csv و test.csv يمثل زوجاً من الجمل:

• sampleID – معرف فريد للزوج
• sentence1 – النص الأول
• sentence2 – النص الثاني
• score – فقط في train.csv، قيمة حقيقية بين 0 و 5 تشير إلى التشابه

الهدف النهائي هو التنبؤ بـ score لكل صف في test.csv.

📝 المهام

للمهام الفرعية الأولى، يجب أن تحلل البيانات المقدمة في train.csv و test.csv
وتستخرج معلومات مختلفة ذات صلة حول الجمل في الاختبار.

المهمة الفرعية 1 (10 نقاط)

احسب طول كل جملة (sentence1 و sentence2) لكل صف في مجموعة الاختبار
وصنف الزوج حسب الطول المتوسط:

• Short إذا كان المتوسط < 50
• Medium إذا كان 50 ≤ المتوسط < 100
• Long إذا كان المتوسط ≥ 100

المهمة الفرعية 2 (15 نقطة)

لكل صف في test، احسب عدد الكلمات في كل جملة (sentence1 و sentence2) وحدد العدد الإجمالي حسب الصيغة:

1العدد_الإجمالي = عدد_كلمات(sentence1) + عدد_كلمات(sentence2)

المهمة الفرعية 3 (15 نقطة)

حدد الفرق المطلق بين طول sentence1 وطول sentence2
لكل صف في test.

بمعنى آخر، لكل صف يجب أن نحسب:

1|عدد_أحرف(sentence1) - عدد_أحرف(sentence2)|

المهمة الفرعية 4 (60 نقطة)

ابن نموذج تعلم آلي قادر على التنبؤ بالقيمة العددية score
لكل صف في test.csv.

التقييم النهائي سيتم باستخدام MAE (Mean Absolute Error)، محسوب كما يلي:

🧮 التقييم

المقياس للمهمة الفرعية 4 هو:

• MAE (Mean Absolute Error) (كلما كانت القيمة أقل، كان عدد النقاط أكبر).
• إذا حصل النموذج على MAE ≤ 0.65، يحصل الحل على 60 نقطة.
• إذا حصل النموذج على MAE ≥ 2.0، يحصل الحل على 0 نقطة.
• للقيم الوسطية من MAE، يُحسب النقاط بشكل تناسبي.

للمهام الفرعية 1-3، تُقيّم الإجابات بدقة.

📌 ملاحظات

• المعالجات مثل التقسيم، التضمينات، النماذج المدربة مسبقاً مسموحة.

📄 تنسيق ملف التسليم

ملف submission.csv يجب أن يحتوي على 4 أسطر لكل صف في الاختبار،
مقابلة للمهام الفرعية الأربع.

الهيكل:

1subtaskID datapointID answer

معنى الأعمدة:

• subtaskID – رقم بين 1 و 4

• datapointID – sampleID من الاختبار

• answer – النتيجة:

  • المهمة الفرعية 1: Short / Medium / Long
  • المهمة الفرعية 2: رقم صحيح
  • المهمة الفرعية 3: رقم صحيح
  • المهمة الفرعية 4: قيمة حقيقية (نقاط متنبأ بها)

مثال لـ sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

حظاً موفقاً! المجلس الأعظم لأمناء المحفوظات يضع آماله فيكم لإحياء عرّاف التشابه! 🧙‍♂️