Tekstkorrektion

✍️ Tekstkorrektion i den hurtige kommunikations æra 💬

I en verden hvor beskeder bliver kortere og kortere, tastet i hast på telefoner og distribueret øjeblikkeligt på sociale netværk, begynder kvaliteten af skriftsprog at forringes. Grammatiske fejl, udeladte ord og tvetydige formuleringer bliver mere og mere hyppige.

For at analysere og forbedre disse tekster udvikler en uddannelsesplatform et automatisk system, der er i stand til at transformere sætninger skrevet på en uopmærksom måde til en korrekt og klar variant. Din rolle er at hjælpe dem ved at foreslå et automatisk system, der korrigerer tekster fra et grammatisk perspektiv.

📁 Datasættet

Du har to filer til rådighed:

• train.csv — indeholder forkerte tekster og deres korrigerede varianter
• test.csv — indeholder forkerte tekster, som modellen skal foreslå en korrigeret variant for

Hver række i train.csv har følgende kolonner:

• SampleID — tekstens unikke identifikator
• Text — den originale sætning, som den blev skrevet af brugeren
• RevisedText — den korrigerede version af en ekspert

Eksempel:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Opgave (100 point)

Byg et system, der genererer den grammatisk korrekte variant for sætningerne i test.csv.

Evalueringssystemet vil beregne en endelig score ved at kombinere to væsentlige aspekter:

• semantisk lighed
• leksikale forskelle

Evalueringsformlen er:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 point
• final_score ≤ 0.9 → 0 point
• For mellemliggende værdier tildeles proportional scoring.

🔹 Cosine Similarity og Edit Distance i tekstkorrektion

For at bygge et automatisk tekstkorrektionssystem skal evalueringen tage højde for både sætningens betydning og nøjagtige leksikale forskelle. Her kommer cosine_similarity og edit_distance ind i billedet.

Cosine Similarity

Definition:
Cosine similarity måler ligheden mellem to vektorer ved at beregne cosinus til vinklen mellem dem. Formlen er:

• A * B er skalarproduktet af vektorerne
• |A| og |B| er deres normer

I NLP:

• Hver sætning kan repræsenteres ved en vektoriel embedding (f.eks. BERT, Sentence-BERT).
• Cosine similarity angiver hvor semantisk ens sætningerne er, selv om ordene i dem er forskellige.

Eksempel:

1Tekst 1: "She forgot her umbrella."2Tekst 2: "She left her umbrella behind."

• Semantisk: samme idéer → Høj cosine similarity

Relevans:
Sikrer at den korrigerede tekst bevarer samme idé som den originale tekst.

Edit Distance (Levenshtein Distance)

Definition:
Edit distance måler det mindste antal operationer (indsættelse, sletning, erstatning) nødvendige for at transformere en streng til en anden.

Eksempel:

1Original tekst: "She forgot her umbrella it started to rain."2Korrigeret tekst: "She forgot her umbrella, and then it started to rain."

• Operationer: indsættelse af komma + tilføjelse af konjunktionen "and then"
• Edit distance = 6 tegn

Relevans:
Afspejler leksikale forskelle og grammatisk korrekthed.

Den endelige metrik, der kombinerer de to

Formlen for den endelige score:

• 0.7 Cosine Similarity: prioriterer sætningens betydning
• 0.3 Edit Distance: verificerer leksikale troværdighed og korrekthed

Denne kombination sikrer, at den korrigerede tekst er både grammatisk korrekt og semantisk lignende den originale tekst.

📄 Formatet for indsendelsesfilens

Filen submission.csv skal indeholde en række for hver tekst i test.

Den første linje i filen indeholder følgende:

1DatapointID, RevisedText

hvor:

• DatapointID - SampleID fra test
• RevisedText - den korrigerede variant af teksten

Eksempel (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."