Tekstide parandamine

✍️ Tekstide parandamine kiire suhtluse ajastul 💬

Maailmas, kus sõnumid muutuvad üha lühemaks, tipitakse kiirustades telefonides ja levitatakse koheselt sotsiaalvõrgustikes, hakkab kirjaliku keele kvaliteet halvenema. Grammatikavead, välja jäetud sõnad ja ebaselged sõnastused muutuvad üha sagedasemaks.

Nende tekstide analüüsimiseks ja parandamiseks arendab haridusplatvorm automaatset süsteemi, mis suudab hooletult kirjutatud lauseid muuta õigeks ja selgeks variandiks. Sinu roll on aidata neil pakkuda välja automaatset süsteemi, mis parandab tekste grammatilisest vaatenurgast.

📁 Andmestik

Sul on kasutada kaks faili:

• train.csv — sisaldab valesid tekste ja nende parandatud variante
• test.csv — sisaldab valesid tekste, millele mudel peab pakkuma parandatud variandi

Iga rida failis train.csv sisaldab järgmisi veerge:

• SampleID — teksti unikaalne identifikaator
• Text — algne lause, nagu kasutaja selle kirjutas
• RevisedText — eksperdi poolt parandatud versioon

Näide:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Ülesanne (100 punkti)

Ehita süsteem, mis genereerib grammatiliselt õige variandi lausetele failist test.csv.

Hindamissüsteem arvutab lõpliku skoori, kombineerides kahte olulist aspekti:

• semantilist sarnasust
• leksikaalseid erinevusi

Hindamise valem on:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 punkti
• final_score ≤ 0.9 → 0 punkti
• Vahepealsete väärtuste korral antakse proportsionaalne punktisumma.

🔹 Cosine Similarity ja Edit Distance tekstide parandamisel

Tekstide automaatse parandamise süsteemi ehitamiseks peab hindamine arvestama nii lause tähendust kui ka täpseid leksikaalseid erinevusi. Siin tulevad mängu cosine_similarity ja edit_distance.

Cosine Similarity

Definitsioon:
Cosine similarity mõõdab kahe vektori vahelist sarnasust, arvutades nende vahelise nurga koosinuse. Valem on:

• A * B on vektorite skalaarkorrutis
• |A| ja |B| on nende normid

NLP-s:

• Iga lauset saab esitada vektorilise esitusena (nt BERT, Sentence-BERT).
• Cosine similarity näitab, kui sarnased on laused semantiliselt, isegi kui neis sisalduvad sõnad erinevad.

Näide:

1Tekst 1: "She forgot her umbrella."2Tekst 2: "She left her umbrella behind."

• Semantiliselt: samad ideed → Suur cosine similarity

Asjakohasus:
Tagab, et parandatud tekst säilitab sama idee kui algne tekst.

Edit Distance (Levenshtein Distance)

Definitsioon:
Edit distance mõõdab minimaalset operatsioonide arvu (lisamine, kustutamine, asendamine), mis on vajalik ühe stringi teiseks muutmiseks.

Näide:

1Algne tekst: "She forgot her umbrella it started to rain."2Parandatud tekst: "She forgot her umbrella, and then it started to rain."

• Operatsioonid: koma lisamine + sidesõna "and then" lisamine
• Edit distance = 6 tähemärki

Asjakohasus:
Peegeldab leksikaalseid erinevusi ja grammatilist õigsust.

Lõplik mõõdik, mis kombineerib mõlemat

Lõpliku skoori valem:

• 0.7 Cosine Similarity: eelistab lause tähendust
• 0.3 Edit Distance: kontrollib leksikaalset täpsust ja õigsust

See kombinatsioon tagab, et parandatud tekst on nii grammatiliselt õige kui ka semantiliselt sarnane algtekstiga.

📄 Esitamisfaili formaat

Fail submission.csv peab sisaldama üht rida iga testi teksti kohta.

Faili esimene rida sisaldab järgmist:

1DatapointID, RevisedText

kus:

• DatapointID - SampleID testist
• RevisedText - teksti parandatud variant

Näide (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."