Oprava textů

✍️ Oprava textů v éře rychlé komunikace 💬

Ve světě, kde jsou zprávy stále kratší, napsané narychlo na telefonech a okamžitě distribuované na sociálních sítích, začíná se kvalita psaného jazyka zhoršovat. Gramatické chyby, vynechaná slova a nejednoznačné formulace se stávají stále častějšími.

Pro analýzu a zlepšení těchto textů vyvíjí vzdělávací platforma automatický systém schopný transformovat věty napsané nepozorně do správné a jasné varianty. Tvým úkolem je pomoci navrhnout automatický systém, který opravuje texty z gramatického hlediska.

📁 Datová sada

Máš k dispozici dva soubory:

• train.csv — obsahuje chybné texty a jejich opravené varianty
• test.csv — obsahuje chybné texty, pro které musí model navrhnout opravenou variantu

Každý řádek v train.csv má následující sloupce:

• SampleID — jedinečný identifikátor textu
• Text — původní věta, jak ji napsal uživatel
• RevisedText — verze opravená expertem

Příklad:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Úkol (100 bodů)

Vytvoř systém, který generuje gramaticky správnou variantu pro věty z test.csv.

Hodnotící systém vypočítá finální skóre kombinující dva základní aspekty:

• sémantickou podobnost
• lexikální rozdíly

Vzorec pro hodnocení je:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 bodů
• final_score ≤ 0.9 → 0 bodů
• Pro mezilehlé hodnoty se uděluje bodové hodnocení proporcionálně.

🔹 Cosine Similarity a Edit Distance v opravě textů

Pro vytvoření automatického systému opravy textů musí hodnocení zohledňovat jak význam věty, tak přesné lexikální rozdíly. Zde vstupují do hry cosine_similarity a edit_distance.

Cosine Similarity

Definice:
Cosine similarity měří podobnost mezi dvěma vektory výpočtem kosinu úhlu mezi nimi. Vzorec je:

• A * B je skalární součin vektorů
• |A| a |B| jsou jejich normy

V NLP:

• Každá věta může být reprezentována vektorovým embeddingem (např. BERT, Sentence-BERT).
• Cosine similarity ukazuje jak sémanticky podobné jsou věty, i když se obsažená slova liší.

Příklad:

1Text 1: "She forgot her umbrella."2Text 2: "She left her umbrella behind."

• Sémanticky: stejné myšlenky → Vysoká cosine similarity

Relevance:
Zajišťuje, že opravený text zachovává stejnou myšlenku jako původní text.

Edit Distance (Levenshteinova vzdálenost)

Definice:
Edit distance měří minimální počet operací (vložení, smazání, nahrazení) potřebných k transformaci jednoho řetězce na druhý.

Příklad:

1Původní text: "She forgot her umbrella it started to rain."2Opravený text: "She forgot her umbrella, and then it started to rain."

• Operace: vložení čárky + přidání spojky "and then"
• Edit distance = 6 znaků

Relevance:
Odráží lexikální rozdíly a gramatickou správnost.

Finální metrika, která kombinuje obě

Vzorec finálního skóre:

• 0.7 Cosine Similarity: upřednostňuje význam věty
• 0.3 Edit Distance: ověřuje lexikální věrnost a správnost

Tato kombinace zajišťuje, že opravený text je jak gramaticky správný, tak sémanticky podobný původnímu textu.

📄 Formát souboru pro odevzdání

Soubor submission.csv musí obsahovat jeden řádek pro každý text z testu.

První řádek souboru obsahuje následující:

1DatapointID, RevisedText

kde:

• DatapointID - SampleID z testu
• RevisedText - opravená varianta textu

Příklad (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."