Szövegjavítás

✍️ Szövegjavítás a gyors kommunikáció korszakában 💬

Egy olyan világban, ahol az üzenetek egyre rövidebbek, sietve gépelve telefonokon és azonnal megosztva a közösségi hálózatokon, az írásbeli nyelv minősége kezd romlani. A nyelvtani hibák, kihagyott szavak és kétértelmű megfogalmazások egyre gyakoribbá válnak.

Ezen szövegek elemzése és javítása érdekében egy oktatási platform automatikus rendszert fejleszt, amely képes a figyelmetlenül írt mondatokat helyes és világos változatokká alakítani. A feladatod, hogy segíts neki egy automatikus rendszer javaslásával, amely nyelvtani szempontból javítja a szövegeket.

📁 Adathalmaz

Két fájl áll rendelkezésedre:

• train.csv — hibás szövegeket és azok javított változatait tartalmazza
• test.csv — hibás szövegeket tartalmaz, amelyekhez a modellnek javított változatot kell javasolnia

A train.csv minden sora a következő oszlopokat tartalmazza:

• SampleID — a szöveg egyedi azonosítója
• Text — az eredeti mondat, ahogy a felhasználó írta
• RevisedText — a szakértő által javított változat

Példa:

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 Feladat (100 pont)

Építs egy rendszert, amely nyelvtanilag helyes változatot generál a test.csv mondataihoz.

Az értékelő rendszer egy végső pontszámot fog kiszámítani két alapvető szempont kombinálásával:

• szemantikai hasonlóság
• lexikai különbségek

Az értékelési formula:

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100 pont
• final_score ≤ 0.9 → 0 pont
• A köztes értékekhez arányos pontszám jár.

🔹 Cosine Similarity és Edit Distance a szövegjavításban

Egy automatikus szövegjavító rendszer építéséhez az értékelésnek figyelembe kell vennie mind a mondat értelmét, mind a pontos lexikai különbségeket. Itt lépnek be a cosine_similarity és az edit_distance.

Cosine Similarity

Definíció:
A cosine similarity két vektor közötti hasonlóságot méri a köztük lévő szög koszinuszának kiszámításával. A formula:

• A * B a vektorok skaláris szorzata
• |A| és |B| azok normái

NLP-ben:

• Minden mondat reprezentálható egy beágyazási vektorral (pl. BERT, Sentence-BERT).
• A cosine similarity azt jelzi, hogy mennyire hasonlóak szemantikailag a mondatok, még akkor is, ha a bennük található szavak különböznek.

Példa:

11. szöveg: "She forgot her umbrella."22. szöveg: "She left her umbrella behind."

• Szemantikailag: ugyanazok az ötletek → Nagy cosine similarity

Relevancia:
Biztosítja, hogy a javított szöveg ugyanazt az ötletet őrzi meg, mint az eredeti szöveg.

Edit Distance (Levenshtein Distance)

Definíció:
Az edit distance a műveletek minimális számát méri (beszúrás, törlés, csere), amely szükséges egy karakterlánc másikká alakításához.

Példa:

1Eredeti szöveg: "She forgot her umbrella it started to rain."2Javított szöveg: "She forgot her umbrella, and then it started to rain."

• Műveletek: vessző beszúrása + "and then" kötőszó hozzáadása
• Edit distance = 6 karakter

Relevancia:
Tükrözi a lexikai különbségeket és a nyelvtani helyességet.

A kettőt kombináló végső metrika

A végső pontszám formulája:

• 0.7 Cosine Similarity: a mondat értelmét helyezi előtérbe
• 0.3 Edit Distance: a lexikai hűséget és helyességet ellenőrzi

Ez a kombináció biztosítja, hogy a javított szöveg mind nyelvtanilag helyes, mind szemantikailag hasonló legyen az eredeti szöveghez.

📄 A beadandó fájl formátuma

A submission.csv fájlnak minden test szöveghez egy sort kell tartalmaznia.

A fájl első sora a következőket tartalmazza:

1DatapointID, RevisedText

ahol:

• DatapointID - SampleID a testből
• RevisedText - a szöveg javított változata

Példa (SampleID = 1557):

11557, "He didn't eat any breakfast this morning."