Мәтіндерді түзету

✍️ Жылдам байланыс дәуіріндегі мәтіндерді түзету 💬

Хабарламалар барған сайын қысқарып, телефондарда асығыс теріліп, әлеуметтік желілерде лезде таратылатын әлемде жазбаша тілдің сапасы нашарлай бастады. Грамматикалық қателер, түсіп қалған сөздер және екіұшты тұжырымдамалар жиі кездесе бастады.

Осы мәтіндерді талдау және жақсарту үшін білім беру платформасы мұқият емес жазылған сөйлемдерді дұрыс және анық нұсқаға түрлендіре алатын автоматты жүйе дамытуда. Сіздің рөліңіз - грамматикалық тұрғыдан мәтіндерді түзететін автоматты жүйе ұсыну арқылы көмектесу.

📁 Деректер жиынтығы

Сіздің қолыңызда екі файл бар:

• train.csv — қате мәтіндер және олардың түзетілген нұсқалары
• test.csv — модель түзетілген нұсқасын ұсынуы керек қате мәтіндер

train.csv файлындағы әрбір жолда келесі бағандар бар:

• SampleID — мәтіннің бірегей идентификаторы
• Text — пайдаланушы жазған түпнұсқа сөйлем
• RevisedText — сарапшы түзеткен нұсқа

Мысал:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Тапсырма (100 ұпай)

test.csv файлындағы сөйлемдер үшін грамматикалық тұрғыдан дұрыс нұсқаны жасайтын жүйе құрыңыз.

Бағалау жүйесі екі маңызды аспектіді біріктіре отырып соңғы балл есептейді:

• семантикалық ұқсастық
• лексикалық айырмашылықтар

Бағалау формуласы:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 ұпай
• final_score ≤ 0.9 → 0 ұпай
• Аралық мәндер үшін пропорционалды ұпай беріледі.

🔹 Мәтін түзетуде Cosine Similarity және Edit Distance

Мәтіндерді автоматты түзету жүйесін құру үшін бағалау сөйлемнің мағынасын да, дәл лексикалық айырмашылықтарды да ескеруі керек. Мұнда cosine_similarity және edit_distance қолданылады.

Cosine Similarity

Анықтама:
Cosine similarity екі вектор арасындағы бұрыштың косинусын есептеу арқылы векторлар арасындағы ұқсастықты өлшейді. Формула:

• A * B векторлардың скалярлық көбейтіндісі
• |A| және |B| олардың нормалары

NLP-де:

• Әрбір сөйлем embedding векторы арқылы көрсетілуі мүмкін (мысалы, BERT, Sentence-BERT).
• Cosine similarity сөйлемдердің семантикалық ұқсастығын көрсетеді, тіпті олардағы сөздер ерекшеленсе де.

Мысал:

1Text 1: "She forgot her umbrella."2Text 2: "She left her umbrella behind."

• Семантикалық: бірдей идеялар → Үлкен cosine similarity

Маңыздылығы:
Түзетілген мәтін түпнұсқамен бірдей идеяны сақтайтынына кепілдік береді.

Edit Distance (Levenshtein Distance)

Анықтама:
Edit distance бір жолды екіншісіне түрлендіру үшін қажет минималды операциялар санын (кірістіру, жою, алмастыру) өлшейді.

Мысал:

1Түпнұсқа мәтін: "She forgot her umbrella it started to rain."2Түзетілген мәтін: "She forgot her umbrella, and then it started to rain."

• Операциялар: үтір кірістіру + "and then" жалғауышын қосу
• Edit distance = 6 таңба

Маңыздылығы:
Лексикалық айырмашылықтар мен грамматикалық дұрыстықты көрсетеді.

Екеуін біріктіретін соңғы метрика

Соңғы балл формуласы:

• 0.7 Cosine Similarity: сөйлемнің мағынасына басымдық береді
• 0.3 Edit Distance: лексикалық адалдық пен дұрыстықты тексереді

Бұл комбинация түзетілген мәтіннің грамматикалық дұрыс болуын және түпнұсқамен семантикалық ұқсас болуын қамтамасыз етеді.

📄 Жіберу файлының форматы

submission.csv файлы тесттегі әрбір мәтін үшін бір жол болуы керек.

Файлдың бірінші жолында мыналар болады:

1DatapointID, RevisedText

мұндағы:

• DatapointID - тесттегі SampleID
• RevisedText - мәтіннің түзетілген нұсқасы

Мысал (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."