تصحيح النصوص

✍️ تصحيح النصوص في عصر التواصل السريع 💬

في عالم تصبح فيه الرسائل أقصر فأقصر، ويتم كتابتها بسرعة على الهواتف وتوزيعها فوراً على الشبكات الاجتماعية، تبدأ جودة اللغة المكتوبة في التدهور. الأخطاء النحوية والكلمات المحذوفة والصياغات الغامضة تصبح أكثر تكراراً.

لتحليل وتحسين هذه النصوص، تطور منصة تعليمية نظاماً آلياً قادراً على تحويل الجمل المكتوبة بطريقة غير مبالية إلى نسخة صحيحة وواضحة. دورك هو مساعدتها من خلال اقتراح نظام آلي يصحح النصوص من الناحية النحوية.

📁 مجموعة البيانات

لديك ملفان متاحان:

• train.csv — يحتوي على نصوص خاطئة ونسخها المصححة
• test.csv — يحتوي على نصوص خاطئة يجب على النموذج اقتراح نسخة مصححة لها

كل صف في train.csv يحتوي على الأعمدة التالية:

• SampleID — المعرف الفريد للنص
• Text — الجملة الأصلية، كما كتبها المستخدم
• RevisedText — النسخة المصححة من قبل خبير

مثال:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 المهمة (100 نقطة)

ابني نظاماً ينتج النسخة الصحيحة نحوياً للجمل في test.csv.

سيحسب نظام التقييم نقاطاً نهائية من خلال دمج جانبين أساسيين:

• التشابه الدلالي
• الاختلافات المعجمية

معادلة التقييم هي:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 نقطة
• final_score ≤ 0.9 → 0 نقطة
• للقيم الوسطية يتم منح نقاط متناسبة.

🔹 Cosine Similarity و Edit Distance في تصحيح النصوص

لبناء نظام آلي لتصحيح النصوص، يجب أن يأخذ التقييم في الاعتبار كلاً من معنى الجملة والاختلافات المعجمية الدقيقة. هنا يأتي دور cosine_similarity و edit_distance.

Cosine Similarity

التعريف:
يقيس Cosine similarity التشابه بين متجهين من خلال حساب جيب التمام للزاوية بينهما. المعادلة هي:

• A * B هو الضرب القياسي للمتجهين
• |A| و |B| هما معياراهما

في NLP:

• يمكن تمثيل كل جملة بـ متجه تضمين (مثل BERT، Sentence-BERT).
• يشير Cosine similarity إلى مدى التشابه الدلالي بين الجمل، حتى لو اختلفت الكلمات الموجودة فيها.

مثال:

1Text 1: "She forgot her umbrella."2Text 2: "She left her umbrella behind."

• دلالياً: نفس الأفكار → Cosine similarity عالي

الصلة:
يضمن أن النص المصحح يحافظ على نفس الفكرة كالنص الأصلي.

Edit Distance (Levenshtein Distance)

التعريف:
يقيس Edit distance العدد الأدنى من العمليات (إدراج، حذف، استبدال) المطلوبة لتحويل سلسلة إلى أخرى.

مثال:

1Text original: "She forgot her umbrella it started to rain."2Text corectat: "She forgot her umbrella, and then it started to rain."

• العمليات: إدراج فاصلة + إضافة الرابط "and then"
• Edit distance = 6 أحرف

الصلة:
يعكس الاختلافات المعجمية والصحة النحوية.

المقياس النهائي الذي يجمع بينهما

معادلة النقاط النهائية:

• 0.7 Cosine Similarity: يعطي الأولوية لـ معنى الجملة
• 0.3 Edit Distance: يتحقق من الإخلاص المعجمي والصحة

هذا المزيج يضمن أن النص المصحح صحيح نحوياً ومتشابه دلالياً مع النص الأصلي.

📄 تنسيق ملف التسليم

يجب أن يحتوي ملف submission.csv على صف لكل نص في الاختبار.

السطر الأول من الملف يحتوي على ما يلي:

1DatapointID, RevisedText

حيث:

• DatapointID - SampleID من الاختبار
• RevisedText - النسخة المصححة من النص

مثال (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."