Oprava textov

✍️ Oprava textov v ére rýchlej komunikácie 💬

V svete, kde sú správy stále kratšie, napísané narýchlo na telefónoch a okamžite distribuované na sociálnych sieťach, kvalita písaného jazyka sa začína degradovať. Gramatické chyby, vynechané slová a nejednoznačné formulácie sa stávajú stále častejšími.

Na analýzu a zlepšenie týchto textov vyvíja vzdelávacia platforma automatický systém schopný transformovať vety napísané nepozorne na správnu a jasnú variantu. Tvojou úlohou je pomôcť navrhnutím automatického systému, ktorý opravuje texty z gramatického hľadiska.

📁 Súbor dát

Máš k dispozícii dva súbory:

• train.csv — obsahuje nesprávne texty a ich opravené varianty
• test.csv — obsahuje nesprávne texty, pre ktoré musí model navrhnúť opravenú variantu

Každý riadok v train.csv má nasledujúce stĺpce:

• SampleID — jedinečný identifikátor textu
• Text — pôvodná veta, ako ju napísal používateľ
• RevisedText — verzia opravená expertom

Príklad:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Úloha (100 bodov)

Zostav systém, ktorý generuje gramaticky správnu variantu pre vety z test.csv.

Hodnotiaci systém vypočíta finálne skóre kombinovaním dvoch základných aspektov:

• sémantická podobnosť
• lexikálne rozdiely

Formula hodnotenia je:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 bodov
• final_score ≤ 0.9 → 0 bodov
• Pre medzilehlé hodnoty sa udeľuje bodovanie proporcionálne.

🔹 Cosine Similarity a Edit Distance pri oprave textov

Na zostrojenie automatického systému opravy textov musí hodnotenie zohľadňovať tak zmysel vety, ako aj presné lexikálne rozdiely. Tu prichádzajú na rad cosine_similarity a edit_distance.

Cosine Similarity

Definícia:
Cosine similarity meria podobnosť medzi dvoma vektormi výpočtom kosínusu uhla medzi nimi. Formula je:

• A * B je skalárny súčin vektorov
• |A| a |B| sú ich normy

V NLP:

• Každá veta môže byť reprezentovaná vektorovým embeddingom (napr. BERT, Sentence-BERT).
• Cosine similarity indikuje ako sémanticky podobné sú vety, aj keď sa slová v nich líšia.

Príklad:

1Text 1: "She forgot her umbrella."2Text 2: "She left her umbrella behind."

• Sémanticky: rovnaké myšlienky → Vysoká cosine similarity

Relevantnosť:
Zabezpečuje, že opravený text zachováva rovnakú myšlienku ako pôvodný text.

Edit Distance (Levenshtein Distance)

Definícia:
Edit distance meria minimálny počet operácií (vloženie, vymazanie, nahradenie) potrebných na transformáciu jedného reťazca na druhý.

Príklad:

1Pôvodný text: "She forgot her umbrella it started to rain."2Opravený text: "She forgot her umbrella, and then it started to rain."

• Operácie: vloženie čiarky + pridanie spojky "and then"
• Edit distance = 6 znakov

Relevantnosť:
Odráža lexikálne rozdiely a gramatickú správnosť.

Finálna metrika, ktorá kombinuje obe

Formula finálneho skóre:

• 0.7 Cosine Similarity: uprednostňuje zmysel vety
• 0.3 Edit Distance: overuje lexikálnu vernosť a správnosť

Táto kombinácia zabezpečuje, že opravený text je tak gramaticky správny, ako aj sémanticky podobný pôvodnému textu.

📄 Formát súboru na odovzdanie

Súbor submission.csv musí obsahovať jeden riadok pre každý text z testu.

Prvý riadok súboru obsahuje nasledovné:

1DatapointID, RevisedText

kde:

• DatapointID - SampleID z testu
• RevisedText - opravená varianta textu

Príklad (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."