Ispravka tekstova

✍️ Ispravka tekstova u eri brze komunikacije 💬

U svetu u kome su poruke sve kraće, kucane u žurbi na telefonima i trenutno distribuirane na društvenim mrežama, kvalitet pisanog jezika počinje da se degradira. Gramatičke greške, izostavljene reči i dvosmislene formulacije postaju sve češće.

Da bi analizirala i poboljšala ove tekstove, obrazovna platforma razvija automatski sistem sposoban da transformiše rečenice napisane na nepažljiv način u ispravnu i jasnu varijantu. Tvoja uloga je da joj pomogneš predlogom automatskog sistema koji ispravlja tekstove iz gramatičke perspektive.

📁 Skup podataka

Na raspolaganju imaš dva fajla:

• train.csv — sadrži pogrešne tekstove i njihove ispravke
• test.csv — sadrži pogrešne tekstove za koje model treba da predloži ispravnu varijantu

Svaki red iz train.csv ima sledeće kolone:

• SampleID — jedinstveni identifikator teksta
• Text — originalna rečenica, kako ju je napisao korisnik
• RevisedText — verzija ispravljena od strane eksperta

Primer:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Task (100 poena)

Konstruiši sistem koji generiše ispravnu varijantu, iz gramatičke perspektive, za rečenice iz test.csv.

Sistem za evaluaciju će izračunati finalni skor kombinujući dva ključna aspekta:

• semantičku sličnost
• leksičke razlike

Formula za evaluaciju je:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 poena
• final_score ≤ 0.9 → 0 poena
• Za intermedijarne vrednosti se dodeljuje proporcionalni broj poena.

🔹 Cosine Similarity i Edit Distance u ispravci tekstova

Da bi se konstruisao automatski sistem za ispravku tekstova, evaluacija mora da vodi računa i o smislu rečenice, i o tačnim leksičkim razlikama. Tu se koriste cosine_similarity i edit_distance.

Cosine Similarity

Definicija:
Cosine similarity meri sličnost između dva vektora izračunavanjem kosinusa ugla između njih. Formula je:

• A * B je skalarni proizvod vektora
• |A| i |B| su njihove norme

U NLP:

• Svaka rečenica može biti predstavljena kroz embedding vektor (npr. BERT, Sentence-BERT).
• Cosine similarity pokazuje koliko su rečenice semantički slične, čak i ako se reči u njima razlikuju.

Primer:

1Text 1: "She forgot her umbrella."2Text 2: "She left her umbrella behind."

• Semantički: iste ideje → Veliki cosine similarity

Relevantnost:
Osigurava da ispravljen tekst zadržava istu ideju kao originalni tekst.

Edit Distance (Levenshtein Distance)

Definicija:
Edit distance meri minimalni broj operacija (umetanje, brisanje, zamena) potreban da se jedan string transformiše u drugi.

Primer:

1Originalni tekst: "She forgot her umbrella it started to rain."2Ispravljen tekst: "She forgot her umbrella, and then it started to rain."

• Operacije: umetanje zareza + dodavanje veznika "and then"
• Edit distance = 6 karaktera

Relevantnost:
Odražava leksičke razlike i gramatičku ispravnost.

Finalna metrika koja kombinuje ove dve

Formula finalnog skora:

• 0.7 Cosine Similarity: prioritizuje smisao rečenice
• 0.3 Edit Distance: proverava leksičku vernost i ispravnost

Ova kombinacija osigurava da je ispravljen tekst i gramatički ispravan, i semantički sličan originalnom tekstu.

📄 Format fajla za submisiju

Fajl submission.csv mora da sadrži po jedan red za svaki tekst iz testa.

Prva linija fajla sadrži sledeće:

1DatapointID, RevisedText

gde:

• DatapointID - SampleID iz testa
• RevisedText - ispravljena varijanta teksta

Primer (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."