Tekstien korjaaminen

✍️ Tekstien korjaaminen nopean viestinnän aikakaudella 💬

Maailmassa, jossa viestit ovat yhä lyhyempiä, kiireessä puhelimilla kirjoitettuja ja välittömästi sosiaalisissa verkostoissa jaettuja, kirjoitetun kielen laatu alkaa heikentyä. Kielioppivirheet, puuttuvat sanat ja epäselvät muotoilut yleistyvät.

Näiden tekstien analysoimiseksi ja parantamiseksi koulutusalusta kehittää automaattista järjestelmää, joka kykenee muuttamaan huolimattomasti kirjoitetut lauseet oikeiksi ja selkeiksi. Tehtäväsi on auttaa heitä ehdottamalla automaattista järjestelmää, joka korjaa tekstejä kieliopillisesta näkökulmasta.

📁 Tietojoukko

Käytössäsi on kaksi tiedostoa:

• train.csv — sisältää virheellisiä tekstejä ja niiden korjattuja versioita
• test.csv — sisältää virheellisiä tekstejä, joille mallin tulee ehdottaa korjattua versiota

Jokainen rivi train.csv-tiedostossa sisältää seuraavat sarakkeet:

• SampleID — tekstin yksilöllinen tunniste
• Text — alkuperäinen lause, sellaisena kuin käyttäjä sen kirjoitti
• RevisedText — asiantuntijan korjaama versio

Esimerkki:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Tehtävä (100 pistettä)

Rakenna järjestelmä, joka tuottaa kieliopillisesti oikean version test.csv-tiedoston lauseille.

Arviointijärjestelmä laskee lopullisen pistemäärän yhdistämällä kaksi olennaista näkökohtaa:

• semanttinen samankaltaisuus
• leksikaaliset erot

Arviointikaava on:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 pistettä
• final_score ≤ 0.9 → 0 pistettä
• Väliarvot saavat suhteellisen pistemäärän.

🔹 Cosine Similarity ja Edit Distance tekstien korjaamisessa

Automaattisen tekstinkorjausjärjestelmän rakentamiseksi arvioinnin tulee ottaa huomioon sekä lauseen merkitys että tarkat leksikaaliset erot. Tässä tulevat mukaan cosine_similarity ja edit_distance.

Cosine Similarity

Määritelmä:
Cosine similarity mittaa kahden vektorin samankaltaisuutta laskemalla niiden välisen kulman kosinin. Kaava on:

• A * B on vektorien pistetulo
• |A| ja |B| ovat niiden normit

NLP:ssä:

• Jokainen lause voidaan esittää upotusvettorina (esim. BERT, Sentence-BERT).
• Cosine similarity osoittaa kuinka semanttisesti samankaltaisia lauseet ovat, vaikka niiden sisältämät sanat eroaisivat.

Esimerkki:

1Teksti 1: "She forgot her umbrella."2Teksti 2: "She left her umbrella behind."

• Semanttisesti: samat ideat → Suuri cosine similarity

Merkitys:
Varmistaa, että korjattu teksti säilyttää saman idean kuin alkuperäinen teksti.

Edit Distance (Levenshtein Distance)

Määritelmä:
Edit distance mittaa vähimmäismäärää operaatioita (lisäys, poisto, korvaus), jotka tarvitaan yhden merkkijonon muuttamiseksi toiseksi.

Esimerkki:

1Alkuperäinen teksti: "She forgot her umbrella it started to rain."2Korjattu teksti: "She forgot her umbrella, and then it started to rain."

• Operaatiot: pilkun lisäys + konjunktion "and then" lisääminen
• Edit distance = 6 merkkiä

Merkitys:
Heijastaa leksikaalisia eroja ja kieliopillista oikeellisuutta.

Lopullinen metriikka, joka yhdistää nämä kaksi

Lopullisen pistemäärän kaava:

• 0.7 Cosine Similarity: priorisoi lauseen merkitystä
• 0.3 Edit Distance: tarkistaa leksikaalisen uskollisuuden ja oikeellisuuden

Tämä yhdistelmä varmistaa, että korjattu teksti on sekä kieliopillisesti oikein että semanttisesti samankaltainen alkuperäisen tekstin kanssa.

📄 Palautustiedoston muoto

Tiedoston submission.csv tulee sisältää yksi rivi jokaista testin tekstiä kohden.

Tiedoston ensimmäinen rivi sisältää seuraavat:

1DatapointID, RevisedText

missä:

• DatapointID - SampleID testistä
• RevisedText - tekstin korjattu versio

Esimerkki (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."