Szöveghasonlóság orákulum

📚 A hasonlóság orákuluma 🔮

A Nagy Királyság Könyvtárában az archiváriusok egyre nehezebb feladattal szembesülnek:
kéziratok, pergamenek és régi krónikák ezreit kell rendszerezni, összehasonlítani és indexelni.

Segítségükre az ősök egy legendás mechanizmust hoztak létre: A hasonlóság orákulumát. Ez egy
olyan eszköz, amely figyelemre méltó pontossággal képes megállapítani, mennyire hasonlóak
két szövegrészlet, 0 és 5 közötti pontszámot visszaadva.

De a mechanizmus idővel leromlott, és az Archiváriusok Nagy Tanácsa úgy döntött, hogy szükség van
egy modern verzióra, amely gépi tanulást használ.

Ehhez két fájl áll rendelkezésedre:

• train.csv - az írnokok által manuálisan annotált pergamenek
• test.csv - új párok, amelyeket a megoldásodnak kell elemeznie

A feladatod az Orákulum újjáépítése egy sor elemzés és egy végső prediktív modell segítségével.

📊 Az adathalmaz

A train.csv és test.csv fájlok minden sora egy mondatpárt reprezentál:

• sampleID – a pár egyedi azonosítója
• sentence1 – az első szöveg
• sentence2 – a második szöveg
• score – csak a train.csv-ben, egy 0 és 5 közötti valós érték, amely a hasonlóságot jelzi

A végső cél a score előrejelzése a test.csv minden sorára.

📝 Feladatok

Az első részfeladatokhoz elemezned kell a train.csv és test.csv fájlokban megadott adatokat
és különböző releváns információkat kell kinyerned a teszt mondatairól.

1. részfeladat (10 pont)

Számítsd ki minden mondat (sentence1 és sentence2) hosszát a teszthalmaz minden sorára
és címkézd fel a párt az átlagos hossz alapján:

• Short ha az átlag < 50
• Medium ha 50 ≤ átlag < 100
• Long ha az átlag ≥ 100

2. részfeladat (15 pont)

A teszt minden sorára számítsd ki a szavak számát minden mondatban (sentence1 és sentence2) és határozd meg a teljes számot a következő képlet szerint:

1teljes_szám = szavak_száma(sentence1) + szavak_száma(sentence2)

3. részfeladat (15 pont)

Állapítsd meg a sentence1 és sentence2 hossza közötti abszolút különbséget
a teszt minden sorára.

Más szóval, minden sorra ki kell számítanunk:

1|karakterek_száma(sentence1) - karakterek_száma(sentence2)|

4. részfeladat (60 pont)

Építs egy gépi tanulási modellt, amely képes előrejelezni a numerikus score értéket
a test.csv minden sorára.

A végső értékelés MAE (Mean Absolute Error) használatával történik, amely így számítható:

🧮 Értékelés

A 4. részfeladat metrikája:

• MAE (Mean Absolute Error) (minél kisebb az érték, annál több pontot kapsz).
• Ha a modell MAE ≤ 0.65 eredményt ér el, a megoldás 60 pontot kap.
• Ha a modell MAE ≥ 2.0 eredményt ér el, a megoldás 0 pontot kap.
• Köztes MAE értékekre a pontszám arányosan számítódik.

Az 1-3. részfeladatok esetében a válaszokat pontosan értékelik.

📌 Megjegyzések

• Az olyan kezelések, mint a tokenizálás, beágyazások, előre betanított modellek megengedettek.

📄 A beküldési fájl formátuma

A submission.csv fájlnak 4 sort kell tartalmaznia minden tesztsorra,
a 4 részfeladatnak megfelelően.

Struktúra:

1subtaskID datapointID answer

A oszlopok jelentése:

• subtaskID – 1 és 4 közötti szám

• datapointID – sampleID a tesztből

• answer – az eredmény:

  • 1. részfeladat: Short / Medium / Long
  • 2. részfeladat: egész szám
  • 3. részfeladat: egész szám
  • 4. részfeladat: valós érték (előrejelzett pontszám)

Példa egy sampleID = 1714 esetére:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Sok szerencsét! Az Archiváriusok Nagy Tanácsa reményeit belétek veti a hasonlóság orákulumának újjáélesztéséhez! 🧙‍♂️