Korekta tekstów

✍️ Korekta tekstów w erze szybkiej komunikacji 💬

W świecie, w którym wiadomości są coraz krótsze, pisane w pośpiechu na telefonach i natychmiast rozpowszechniane w mediach społecznościowych, jakość pisanego języka zaczyna się pogarszać. Błędy gramatyczne, pominięte słowa i dwuznaczne sformułowania stają się coraz częstsze.

Aby analizować i poprawiać te teksty, platforma edukacyjna rozwija automatyczny system zdolny do przekształcania zdań napisanych w niedbały sposób w wersję poprawną i jasną. Twoją rolą jest pomóc poprzez zaproponowanie automatycznego systemu, który koryguje teksty z perspektywy gramatycznej.

📁 Zbiór danych

Masz do dyspozycji dwa pliki:

• train.csv — zawiera błędne teksty i ich poprawione wersje
• test.csv — zawiera błędne teksty, dla których model musi zaproponować poprawioną wersję

Każdy wiersz w train.csv ma następujące kolumny:

• SampleID — unikalny identyfikator tekstu
• Text — oryginalne zdanie, tak jak zostało napisane przez użytkownika
• RevisedText — wersja poprawiona przez eksperta

Przykład:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Zadanie (100 punktów)

Zbuduj system, który generuje poprawną wersję gramatyczną dla zdań z test.csv.

System oceny obliczy wynik końcowy łącząc dwa istotne aspekty:

• podobieństwo semantyczne
• różnice leksykalne

Formuła oceny to:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 punktów
• final_score ≤ 0.9 → 0 punktów
• Dla wartości pośrednich przyznawane są punkty proporcjonalnie.

🔹 Cosine Similarity i Edit Distance w korekcie tekstów

Aby zbudować automatyczny system korekty tekstów, ocena musi uwzględniać zarówno sens zdania, jak i dokładne różnice leksykalne. Tu wchodzą w grę cosine_similarity i edit_distance.

Cosine Similarity

Definicja:
Cosine similarity mierzy podobieństwo między dwoma wektorami obliczając cosinus kąta między nimi. Formuła to:

• A * B to iloczyn skalarny wektorów
• |A| i |B| to ich normy

W NLP:

• Każde zdanie może być reprezentowane przez embedding wektorowy (np. BERT, Sentence-BERT).
• Cosine similarity wskazuje jak podobne semantycznie są zdania, nawet jeśli zawarte w nich słowa się różnią.

Przykład:

1Tekst 1: "She forgot her umbrella."2Tekst 2: "She left her umbrella behind."

• Semantycznie: te same idee → Duże cosine similarity

Znaczenie:
Zapewnia, że poprawiony tekst zachowuje tę samą ideę co tekst oryginalny.

Edit Distance (Levenshtein Distance)

Definicja:
Edit distance mierzy minimalną liczbę operacji (wstawienie, usunięcie, zamiana) potrzebnych do przekształcenia jednego ciągu w drugi.

Przykład:

1Tekst oryginalny: "She forgot her umbrella it started to rain."2Tekst poprawiony: "She forgot her umbrella, and then it started to rain."

• Operacje: wstawienie przecinka + dodanie spójnika "and then"
• Edit distance = 6 znaków

Znaczenie:
Odzwierciedla różnice leksykalne i poprawność gramatyczną.

Metryka końcowa łącząca obie

Formuła wyniku końcowego:

• 0.7 Cosine Similarity: priorytetowo traktuje sens zdania
• 0.3 Edit Distance: sprawdza wierność leksykalną i poprawność

Ta kombinacja zapewnia, że poprawiony tekst jest zarówno gramatycznie poprawny, jak i podobny semantycznie do tekstu oryginalnego.

📄 Format pliku zgłoszenia

Plik submission.csv musi zawierać jeden wiersz dla każdego tekstu z testu.

Pierwsza linia pliku zawiera następujące:

1DatapointID, RevisedText

gdzie:

• DatapointID - SampleID z testu
• RevisedText - poprawiona wersja tekstu

Przykład (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."