ტექსტების გასწორება

✍️ ტექსტების კორექტირება სწრაფი კომუნიკაციის ეპოქაში 💬

იმ სამყაროში, სადაც შეტყობინებები სულ უფრო მოკლე ხდება, ტელეფონებზე ჩქარა იწერება და სოციალურ ქსელებში მყისიერად ვრცელდება, წერითი ენის ხარისხი იწყებს დეგრადაციას. გრამატიკული შეცდომები, გამოტოვებული სიტყვები და ბუნდოვანი ფორმულირებები სულ უფრო ხშირი ხდება.

ამ ტექსტების ანალიზისა და გაუმჯობესებისთვის, საგანმანათლებლო პლატფორმა ავითარებს ავტომატურ სისტემას, რომელსაც შეუძლია უყურადღებოდ დაწერილი წინადადებების გარდაქმნა სწორ და მკაფიო ვარიანტად. შენი როლია დაეხმარო მას გრამატიკული თვალსაზრისით ტექსტების კორექტირების ავტომატური სისტემის შემოთავაზებით.

📁 მონაცემთა ნაკრები

შენს ხელთ არის ორი ფაილი:

• train.csv — შეიცავს არასწორ ტექსტებს და მათ გამოსწორებულ ვარიანტებს
• test.csv — შეიცავს არასწორ ტექსტებს, რომლებისთვისაც მოდელმა უნდა შესთავაზოს გამოსწორებული ვარიანტი

train.csv-ის თითოეულ რიგს აქვს შემდეგი სვეტები:

• SampleID — ტექსტის უნიკალური იდენტიფიკატორი
• Text — ორიგინალური წინადადება, როგორც მომხმარებელმა დაწერა
• RevisedText — ექსპერტის მიერ გამოსწორებული ვერსია

მაგალითი:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 დავალება (100 ქულა)

ააშენე სისტემა, რომელიც გენერირებს გრამატიკული თვალსაზრისით სწორ ვარიანტს test.csv-ის წინადადებებისთვის.

შეფასების სისტემა გამოთვლის საბოლოო ქულას ორი არსებითი ასპექტის კომბინირებით:

• სემანტიკური მსგავსება
• ლექსიკური განსხვავებები

შეფასების ფორმულა არის:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 ქულა
• final_score ≤ 0.9 → 0 ქულა
• შუალედური მნიშვნელობებისთვის ენიჭება პროპორციული ქულები.

🔹 Cosine Similarity და Edit Distance ტექსტების კორექტირებაში

ტექსტების კორექტირების ავტომატური სისტემის ასაშენებლად, შეფასებამ უნდა გაითვალისწინოს როგორც წინადადების მნიშვნელობა, ისე ზუსტი ლექსიკური განსხვავებები. აქ ჩნდება cosine_similarity და edit_distance.

Cosine Similarity

განმარტება:
Cosine similarity ზომავს ორ ვექტორს შორის მსგავსებას მათ შორის კუთხის კოსინუსის გამოთვლით. ფორმულა არის:

• A * B არის ვექტორების სკალარული ნამრავლი
• |A| და |B| არის მათი ნორმები

NLP-ში:

• თითოეული წინადადება შეიძლება წარმოდგენილ იქნას embedding ვექტორით (მაგ. BERT, Sentence-BERT).
• Cosine similarity მიუთითებს რამდენად მსგავსია სემანტიკურად წინადადებები, მიუხედავად იმისა, რომ მათში შემავალი სიტყვები განსხვავდება.

მაგალითი:

1Text 1: "She forgot her umbrella."2Text 2: "She left her umbrella behind."

• სემანტიკურად: იგივე იდეები → მაღალი Cosine similarity

მნიშვნელობა:
უზრუნველყოფს, რომ გამოსწორებული ტექსტი ინარჩუნებს იგივე იდეას როგორც ორიგინალური ტექსტი.

Edit Distance (Levenshtein Distance)

განმარტება:
Edit distance ზომავს ოპერაციების მინიმალურ რაოდენობას (ჩასმა, წაშლა, ჩანაცვლება), რომელიც საჭიროა ერთი სტრიქონის მეორეში გარდაქმნისთვის.

მაგალითი:

1ორიგინალური ტექსტი: "She forgot her umbrella it started to rain."2გამოსწორებული ტექსტი: "She forgot her umbrella, and then it started to rain."

• ოპერაციები: მძიმის ჩასმა + "and then" კავშირის დამატება
• Edit distance = 6 სიმბოლო

მნიშვნელობა:
ასახავს ლექსიკურ განსხვავებებს და გრამატიკულ სისწორეს.

საბოლოო მეტრიკა, რომელიც ორივეს აერთიანებს

საბოლოო ქულის ფორმულა:

• 0.7 Cosine Similarity: პრიორიტეტს ანიჭებს წინადადების მნიშვნელობას
• 0.3 Edit Distance: ამოწმებს ლექსიკურ ერთგულებას და სისწორეს

ეს კომბინაცია უზრუნველყოფს, რომ გამოსწორებული ტექსტი იყოს როგორც გრამატიკულად სწორი, ისე სემანტიკურად მსგავსი ორიგინალური ტექსტისა.

📄 წარდგენის ფაილის ფორმატი

submission.csv ფაილმა უნდა შეიცავდეს ერთ რიგს ტესტის თითოეული ტექსტისთვის.

ფაილის პირველი ხაზი შეიცავს შემდეგს:

1DatapointID, RevisedText

სადაც:

• DatapointID - SampleID ტესტიდან
• RevisedText - ტექსტის გამოსწორებული ვარიანტი

მაგალითი (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."