Correction de textes

✍️ Correction de textes à l'ère de la communication rapide 💬

Dans un monde où les messages sont de plus en plus courts, tapés à la hâte sur les téléphones et distribués instantanément sur les réseaux sociaux, la qualité de la langue écrite commence à se dégrader. Les erreurs de grammaire, les mots omis et les formulations ambiguës deviennent de plus en plus fréquentes.

Pour analyser et améliorer ces textes, une plateforme éducative développe un système automatique capable de transformer les phrases écrites de manière négligente en une version correcte et claire. Ton rôle est de l'aider en proposant un système automatique qui corrige les textes, d'un point de vue grammatical.

📁 Jeu de données

Tu as à disposition deux fichiers :

• train.csv — contient des textes incorrects et leurs versions corrigées
• test.csv — contient des textes incorrects pour lesquels le modèle doit proposer une version corrigée

Chaque ligne de train.csv a les colonnes suivantes :

• SampleID — l'identifiant unique du texte
• Text — la phrase originale, telle qu'elle a été écrite par l'utilisateur
• RevisedText — la version corrigée par un expert

Exemple :

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Tâche (100 points)

Construis un système qui génère la version correcte, d'un point de vue grammatical, pour les phrases de test.csv.

Le système d'évaluation va calculer un score final en combinant deux aspects essentiels :

• la similarité sémantique
• les différences lexicales

La formule d'évaluation est :

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 points
• final_score ≤ 0.9 → 0 point
• Pour les valeurs intermédiaires, un score proportionnel est accordé.

🔹 Cosine Similarity et Edit Distance dans la correction de textes

Pour construire un système automatique de correction de textes, l'évaluation doit tenir compte à la fois du sens de la phrase et des différences lexicales exactes. C'est là qu'interviennent cosine_similarity et edit_distance.

Cosine Similarity

Définition :
La cosine similarity mesure la similarité entre deux vecteurs en calculant le cosinus de l'angle entre eux. La formule est :

• A * B est le produit scalaire des vecteurs
• |A| et |B| sont leurs normes

En NLP :

• Chaque phrase peut être représentée par un embedding vectoriel (ex. BERT, Sentence-BERT).
• La cosine similarity indique à quel point les phrases sont sémantiquement similaires, même si les mots qu'elles contiennent diffèrent.

Exemple :

1Texte 1: "She forgot her umbrella."2Texte 2: "She left her umbrella behind."

• Sémantiquement : mêmes idées → Cosine similarity élevée

Pertinence :
Elle nous assure que le texte corrigé conserve la même idée que le texte original.

Edit Distance (Distance de Levenshtein)

Définition :
L'edit distance mesure le nombre minimum d'opérations (insertion, suppression, remplacement) nécessaires pour transformer une chaîne en une autre.

Exemple :

1Texte original: "She forgot her umbrella it started to rain."2Texte corrigé: "She forgot her umbrella, and then it started to rain."

• Opérations : insertion de virgule + ajout de la conjonction "and then"
• Edit distance = 6 caractères

Pertinence :
Elle reflète les différences lexicales et la correction grammaticale.

Métrique finale qui les combine toutes les deux

Formule du score final :

• 0.7 Cosine Similarity : priorise le sens de la phrase
• 0.3 Edit Distance : vérifie la fidélité lexicale et la correction

Cette combinaison assure que le texte corrigé est à la fois grammaticalement correct et similaire d'un point de vue sémantique au texte original.

📄 Format du fichier de soumission

Le fichier submission.csv doit contenir une ligne pour chaque texte du test.

La première ligne du fichier contient ce qui suit :

1DatapointID, RevisedText

où :

• DatapointID - SampleID du test
• RevisedText - version corrigée du texte

Exemple (SampleID = 1557) :

11557, "He didn't eat any breakfast this morning."