Textkorrektur

✍️ Textkorrektur im Zeitalter der schnellen Kommunikation 💬

In einer Welt, in der Nachrichten immer kürzer werden, hastig auf Telefonen getippt und sofort in sozialen Netzwerken verbreitet werden, beginnt sich die Qualität der geschriebenen Sprache zu verschlechtern. Grammatikfehler, ausgelassene Wörter und mehrdeutige Formulierungen werden immer häufiger.

Um diese Texte zu analysieren und zu verbessern, entwickelt eine Bildungsplattform ein automatisches System, das nachlässig geschriebene Sätze in eine korrekte und klare Version umwandeln kann. Deine Aufgabe ist es, bei der Entwicklung eines automatischen Systems zu helfen, das Texte aus grammatikalischer Sicht korrigiert.

📁 Datensatz

Du hast zwei Dateien zur Verfügung:

• train.csv — enthält fehlerhafte Texte und ihre korrigierten Versionen
• test.csv — enthält fehlerhafte Texte, für die das Modell eine korrigierte Version vorschlagen muss

Jede Zeile in train.csv hat folgende Spalten:

• SampleID — eindeutige Kennung des Textes
• Text — der ursprüngliche Satz, wie er vom Benutzer geschrieben wurde
• RevisedText — die von einem Experten korrigierte Version

Beispiel:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Aufgabe (100 Punkte)

Erstelle ein System, das grammatikalisch korrekte Versionen für die Sätze in test.csv generiert.

Das Bewertungssystem berechnet eine finale Punktzahl, die zwei wesentliche Aspekte kombiniert:

• semantische Ähnlichkeit
• lexikalische Unterschiede

Die Bewertungsformel lautet:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 Punkte
• final_score ≤ 0.9 → 0 Punkte
• Für Zwischenwerte wird eine proportionale Punktzahl vergeben.

🔹 Cosine Similarity und Edit Distance bei der Textkorrektur

Um ein automatisches Textkorrektur-System zu erstellen, muss die Bewertung sowohl die Bedeutung des Satzes als auch die exakten lexikalischen Unterschiede berücksichtigen. Hier kommen cosine_similarity und edit_distance ins Spiel.

Cosine Similarity

Definition:
Cosine Similarity misst die Ähnlichkeit zwischen zwei Vektoren, indem der Kosinus des Winkels zwischen ihnen berechnet wird. Die Formel lautet:

• A * B ist das Skalarprodukt der Vektoren
• |A| und |B| sind ihre Normen

In NLP:

• Jeder Satz kann durch einen Vektor-Embedding dargestellt werden (z.B. BERT, Sentence-BERT).
• Cosine Similarity zeigt an, wie semantisch ähnlich die Sätze sind, auch wenn die enthaltenen Wörter unterschiedlich sind.

Beispiel:

1Text 1: "She forgot her umbrella."2Text 2: "She left her umbrella behind."

• Semantisch: gleiche Ideen → Hohe Cosine Similarity

Relevanz:
Stellt sicher, dass der korrigierte Text dieselbe Idee wie der ursprüngliche Text beibehält.

Edit Distance (Levenshtein Distance)

Definition:
Edit Distance misst die minimale Anzahl von Operationen (Einfügen, Löschen, Ersetzen), die nötig sind, um eine Zeichenkette in eine andere umzuwandeln.

Beispiel:

1Ursprünglicher Text: "She forgot her umbrella it started to rain."2Korrigierter Text: "She forgot her umbrella, and then it started to rain."

• Operationen: Komma einfügen + Konjunktion "and then" hinzufügen
• Edit Distance = 6 Zeichen

Relevanz:
Spiegelt lexikalische Unterschiede und grammatikalische Korrektheit wider.

Die finale Metrik, die beide kombiniert

Formel für die finale Punktzahl:

• 0.7 Cosine Similarity: priorisiert die Bedeutung des Satzes
• 0.3 Edit Distance: überprüft lexikalische Treue und Korrektheit

Diese Kombination stellt sicher, dass der korrigierte Text sowohl grammatikalisch korrekt als auch semantisch ähnlich zum ursprünglichen Text ist.

📄 Format der Einreichungsdatei

Die Datei submission.csv muss eine Zeile für jeden Text aus dem Test enthalten.

Die erste Zeile der Datei enthält folgendes:

1DatapointID, RevisedText

wobei:

• DatapointID - SampleID aus dem Test
• RevisedText - korrigierte Version des Textes

Beispiel (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."