Correção de textos

✍️ Correção de textos na era da comunicação rápida 💬

Num mundo onde as mensagens são cada vez mais curtas, digitadas apressadamente em telefones e distribuídas instantaneamente nas redes sociais, a qualidade da linguagem escrita começa a se degradar. Erros de gramática, palavras omitidas e formulações ambíguas tornam-se cada vez mais frequentes.

Para analisar e melhorar esses textos, uma plataforma educacional desenvolve um sistema automático capaz de transformar frases escritas de maneira descuidada numa versão correta e clara. Seu papel é ajudá-la através da proposta de um sistema automático que corrija textos, do ponto de vista gramatical.

📁 Conjunto de dados

Você tem à disposição dois arquivos:

• train.csv — contém textos incorretos e suas versões corrigidas
• test.csv — contém textos incorretos para os quais o modelo deve propor uma versão corrigida

Cada linha do train.csv tem as seguintes colunas:

• SampleID — identificador único do texto
• Text — frase original, como foi escrita pelo usuário
• RevisedText — versão corrigida por um especialista

Exemplo:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Task (100 pontos)

Construa um sistema que gere a versão correta, do ponto de vista gramatical, para as frases do test.csv.

O sistema de avaliação calculará uma pontuação final combinando dois aspectos essenciais:

• semelhança semântica
• diferenças lexicais

A fórmula de avaliação é:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 pontos
• final_score ≤ 0.9 → 0 pontos
• Para valores intermediários é atribuída pontuação proporcional.

🔹 Cosine Similarity e Edit Distance na correção de textos

Para construir um sistema automático de correção de textos, a avaliação deve levar em conta tanto o sentido da frase, quanto as diferenças lexicais exatas. Aqui entram cosine_similarity e edit_distance.

Cosine Similarity

Definição:
Cosine similarity mede a similaridade entre dois vetores calculando o cosseno do ângulo entre eles. A fórmula é:

• A * B é o produto escalar dos vetores
• |A| e |B| são suas normas

Em NLP:

• Cada frase pode ser representada por um embedding vetorial (ex. BERT, Sentence-BERT).
• Cosine similarity indica quão semelhantes semanticamente são as frases, mesmo que as palavras contidas nelas difiram.

Exemplo:

1Text 1: "She forgot her umbrella."2Text 2: "She left her umbrella behind."

• Semanticamente: mesmas ideias → Cosine similarity alta

Relevância:
Garante que o texto corrigido preserve a mesma ideia do texto original.

Edit Distance (Levenshtein Distance)

Definição:
Edit distance mede o número mínimo de operações (inserção, exclusão, substituição) necessárias para transformar uma string em outra.

Exemplo:

1Texto original: "She forgot her umbrella it started to rain."2Texto corrigido: "She forgot her umbrella, and then it started to rain."

• Operações: inserção de vírgula + adição da conjunção "and then"
• Edit distance = 6 caracteres

Relevância:
Reflete diferenças lexicais e correção gramatical.

Métrica final que combina as duas

Fórmula da pontuação final:

• 0.7 Cosine Similarity: prioriza o sentido da frase
• 0.3 Edit Distance: verifica fidelidade lexical e correção

Esta combinação garante que o texto corrigido seja tanto gramaticalmente correto, quanto similar do ponto de vista semântico com o texto original.

📄 Formato do arquivo de submissão

O arquivo submission.csv deve conter uma linha para cada texto do teste.

A primeira linha do arquivo contém o seguinte:

1DatapointID, RevisedText

onde:

• DatapointID - SampleID do teste
• RevisedText - versão corrigida do texto

Exemplo (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."