Correzione di testi

✍️ Correzione di testi nell'era della comunicazione rapida 💬

In un mondo in cui i messaggi sono sempre più brevi, digitati in fretta sui telefoni e distribuiti istantaneamente sui social network, la qualità del linguaggio scritto inizia a degradarsi. Errori grammaticali, parole omesse e formulazioni ambigue diventano sempre più frequenti.

Per analizzare e migliorare questi testi, una piattaforma educativa sviluppa un sistema automatico capace di trasformare le frasi scritte in modo disattento in una versione corretta e chiara. Il tuo ruolo è aiutarla proponendo un sistema automatico che corregge i testi dal punto di vista grammaticale.

📁 Set di dati

Hai a disposizione due file:

• train.csv — contiene testi errati e le loro versioni corrette
• test.csv — contiene testi errati per i quali il modello deve proporre una versione corretta

Ogni riga di train.csv ha le seguenti colonne:

• SampleID — identificatore unico del testo
• Text — frase originale, come è stata scritta dall'utente
• RevisedText — versione corretta da un esperto

Esempio:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Task (100 punti)

Costruisci un sistema che genera la versione corretta dal punto di vista grammaticale per le frasi in test.csv.

Il sistema di valutazione calcolerà un punteggio finale combinando due aspetti essenziali:

• somiglianza semantica
• differenze lessicali

La formula di valutazione è:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 punti
• final_score ≤ 0.9 → 0 punti
• Per i valori intermedi si assegna punteggio proporzionale.

🔹 Cosine Similarity e Edit Distance nella correzione di testi

Per costruire un sistema automatico di correzione di testi, la valutazione deve tenere conto sia del significato della frase che delle differenze lessicali esatte. Qui entrano in gioco cosine_similarity e edit_distance.

Cosine Similarity

Definizione:
Cosine similarity misura la similarità tra due vettori calcolando il coseno dell'angolo tra di essi. La formula è:

• A * B è il prodotto scalare dei vettori
• |A| e |B| sono le loro norme

In NLP:

• Ogni frase può essere rappresentata tramite un embedding vettoriale (es. BERT, Sentence-BERT).
• Cosine similarity indica quanto semanticamente simili sono le frasi, anche se le parole contenute in esse differiscono.

Esempio:

1Text 1: "She forgot her umbrella."2Text 2: "She left her umbrella behind."

• Semanticamente: stesse idee → Cosine similarity alta

Rilevanza:
Ci assicura che il testo corretto mantenga la stessa idea del testo originale.

Edit Distance (Levenshtein Distance)

Definizione:
Edit distance misura il numero minimo di operazioni (inserimento, cancellazione, sostituzione) necessarie per trasformare una stringa in un'altra.

Esempio:

1Testo originale: "She forgot her umbrella it started to rain."2Testo corretto: "She forgot her umbrella, and then it started to rain."

• Operazioni: inserimento virgola + aggiunta della congiunzione "and then"
• Edit distance = 6 caratteri

Rilevanza:
Riflette le differenze lessicali e la correttezza grammaticale.

Metrica finale che le combina entrambe

Formula del punteggio finale:

• 0.7 Cosine Similarity: prioritizza il significato della frase
• 0.3 Edit Distance: verifica la fedeltà lessicale e la correttezza

Questa combinazione assicura che il testo corretto sia sia grammaticalmente corretto che simile dal punto di vista semantico al testo originale.

📄 Formato del file di submission

Il file submission.csv deve contenere una riga per ogni testo nel test.

La prima riga del file contiene quanto segue:

1DatapointID, RevisedText

dove:

• DatapointID - SampleID dal test
• RevisedText - versione corretta del testo

Esempio (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."