Tekstcorrectie

✍️ Tekstcorrectie in het tijdperk van snelle communicatie 💬

In een wereld waarin berichten steeds korter worden, haastig getypt op telefoons en direct verspreid via sociale netwerken, begint de kwaliteit van geschreven taal te verslechteren. Grammaticafouten, weggelaten woorden en dubbelzinnige formuleringen worden steeds frequenter.

Om deze teksten te analyseren en verbeteren, ontwikkelt een educatief platform een automatisch systeem dat in staat is om onzorgvuldig geschreven zinnen om te zetten in een correcte en duidelijke versie. Jouw rol is om te helpen door het voorstellen van een automatisch systeem dat teksten corrigeert vanuit grammaticaal perspectief.

📁 Dataset

Je hebt twee bestanden tot je beschikking:

• train.csv — bevat foutieve teksten en hun gecorrigeerde versies
• test.csv — bevat foutieve teksten waarvoor het model een gecorrigeerde versie moet voorstellen

Elke rij in train.csv heeft de volgende kolommen:

• SampleID — unieke identificatie van de tekst
• Text — de originele zin, zoals geschreven door de gebruiker
• RevisedText — de gecorrigeerde versie door een expert

Voorbeeld:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Taak (100 punten)

Bouw een systeem dat de grammaticaal correcte versie genereert voor de zinnen uit test.csv.

Het evaluatiesysteem zal een eindscore berekenen door twee essentiële aspecten te combineren:

• semantische gelijkenis
• lexicale verschillen

De evaluatieformule is:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 punten
• final_score ≤ 0.9 → 0 punten
• Voor tussenliggende waarden wordt een proportionele score toegekend.

🔹 Cosine Similarity en Edit Distance in tekstcorrectie

Om een automatisch tekstcorrectiesysteem te bouwen, moet de evaluatie rekening houden met zowel de betekenis van de zin als de exacte lexicale verschillen. Hier komen cosine_similarity en edit_distance om de hoek kijken.

Cosine Similarity

Definitie:
Cosine similarity meet de gelijkenis tussen twee vectoren door de cosinus van de hoek ertussen te berekenen. De formule is:

• A * B is het scalaire product van de vectoren
• |A| en |B| zijn hun normen

In NLP:

• Elke zin kan worden weergegeven door een embedding vector (bijv. BERT, Sentence-BERT).
• Cosine similarity geeft aan hoe semantisch vergelijkbaar de zinnen zijn, zelfs als de woorden erin verschillen.

Voorbeeld:

1Tekst 1: "She forgot her umbrella."2Tekst 2: "She left her umbrella behind."

• Semantisch: dezelfde ideeën → Hoge cosine similarity

Relevantie:
Zorgt ervoor dat de gecorrigeerde tekst hetzelfde idee behoudt als de originele tekst.

Edit Distance (Levenshtein Distance)

Definitie:
Edit distance meet het minimum aantal bewerkingen (invoegen, verwijderen, vervangen) dat nodig is om de ene string in de andere om te zetten.

Voorbeeld:

1Originele tekst: "She forgot her umbrella it started to rain."2Gecorrigeerde tekst: "She forgot her umbrella, and then it started to rain."

• Bewerkingen: invoegen komma + toevoegen van voegwoord "and then"
• Edit distance = 6 karakters

Relevantie:
Reflecteert lexicale verschillen en grammaticale correctheid.

Eindmetriek die beide combineert

Formule voor de eindscore:

• 0.7 Cosine Similarity: geeft prioriteit aan betekenis van de zin
• 0.3 Edit Distance: controleert lexicale trouw en correctheid

Deze combinatie zorgt ervoor dat de gecorrigeerde tekst zowel grammaticaal correct is als semantisch vergelijkbaar met de originele tekst.

📄 Formaat van het inzendingsbestand

Het bestand submission.csv moet één rij bevatten voor elke tekst uit de test.

De eerste regel van het bestand bevat het volgende:

1DatapointID, RevisedText

waarbij:

• DatapointID - SampleID uit test
• RevisedText - gecorrigeerde versie van de tekst

Voorbeeld (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."