Corrección de textos

✍️ Corrección de textos en la era de la comunicación rápida 💬

En un mundo donde los mensajes son cada vez más cortos, escritos a toda prisa en teléfonos y distribuidos instantáneamente en las redes sociales, la calidad del lenguaje escrito comienza a degradarse. Errores de gramática, palabras omitidas y formulaciones ambiguas se vuelven cada vez más frecuentes.

Para analizar y mejorar estos textos, una plataforma educativa desarrolla un sistema automático capaz de transformar las oraciones escritas de manera descuidada en una versión correcta y clara. Tu papel es ayudarles proponiendo un sistema automático que corrija los textos desde una perspectiva gramatical.

📁 Conjunto de datos

Tienes a tu disposición dos archivos:

• train.csv — contiene textos incorrectos y sus versiones corregidas
• test.csv — contiene textos incorrectos para los cuales el modelo debe proponer una versión corregida

Cada fila de train.csv tiene las siguientes columnas:

• SampleID — el identificador único del texto
• Text — la oración original, tal como fue escrita por el usuario
• RevisedText — la versión corregida por un experto

Ejemplo:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Tarea (100 puntos)

Construye un sistema que genere la versión correcta, desde el punto de vista gramatical, para las oraciones de test.csv.

El sistema de evaluación calculará una puntuación final combinando dos aspectos esenciales:

• similitud semántica
• diferencias léxicas

La fórmula de evaluación es:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 puntos
• final_score ≤ 0.9 → 0 puntos
• Para valores intermedios se otorga puntaje proporcional.

🔹 Cosine Similarity y Edit Distance en la corrección de textos

Para construir un sistema automático de corrección de textos, la evaluación debe tener en cuenta tanto el sentido de la oración como las diferencias léxicas exactas. Aquí intervienen cosine_similarity y edit_distance.

Cosine Similarity

Definición:
Cosine similarity mide la similitud entre dos vectores calculando el coseno del ángulo entre ellos. La fórmula es:

• A * B es el producto escalar de los vectores
• |A| y |B| son sus normas

En NLP:

• Cada oración puede ser representada mediante un embedding vectorial (ej. BERT, Sentence-BERT).
• Cosine similarity indica qué tan similares semánticamente son las oraciones, incluso si las palabras contenidas en ellas difieren.

Ejemplo:

1Texto 1: "She forgot her umbrella."2Texto 2: "She left her umbrella behind."

• Semánticamente: las mismas ideas → Cosine similarity alto

Relevancia:
Nos asegura que el texto corregido preserve la misma idea que el texto original.

Edit Distance (Levenshtein Distance)

Definición:
Edit distance mide el número mínimo de operaciones (inserción, eliminación, sustitución) necesarias para transformar una cadena en otra.

Ejemplo:

1Texto original: "She forgot her umbrella it started to rain."2Texto corregido: "She forgot her umbrella, and then it started to rain."

• Operaciones: inserción de coma + adición de la conjunción "and then"
• Edit distance = 6 caracteres

Relevancia:
Refleja las diferencias léxicas y la corrección gramatical.

Métrica final que las combina a ambas

Fórmula de la puntuación final:

• 0.7 Cosine Similarity: prioriza el sentido de la oración
• 0.3 Edit Distance: verifica la fidelidad léxica y corrección

Esta combinación asegura que el texto corregido sea tanto gramaticalmente correcto como similar desde el punto de vista semántico al texto original.

📄 Formato del archivo de envío

El archivo submission.csv debe contener una fila para cada texto del test.

La primera línea del archivo contiene lo siguiente:

1DatapointID, RevisedText

donde:

• DatapointID - SampleID del test
• RevisedText - versión corregida del texto

Ejemplo (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."