Tekstų panašumo orakulas

📚 Panašumo orakulas 🔮

Didžiosios Karalystės bibliotekoje archyvariai susiduria su vis sunkesne užduotimi:
tūkstančiai rankraščių, pergamentų ir senųjų kronikų turi būti organizuojami, lyginami ir indeksuojami.

Kad jiems padėtų, protėviai sukūrė legendinį mechanizmą: Panašumo orakulą. Tai yra
įrenginys, galintis nustatyti, su nepaprastu tikslumu, kiek panašūs
yra du teksto fragmentai, grąžindamas balą nuo 0 iki 5.

Tačiau mechanizmas laikui bėgant pablogėjo, ir Didžioji Archyvarių Taryba nusprendė, kad reikia
šiuolaikinės versijos, sukurtos naudojant mašininį mokymąsi.

Tam tau pateikti du failai:

• train.csv - pergamentai, rankiniu būdu anotuoti rašytojų
• test.csv - naujos poros, kurias turi išanalizuoti tavo sprendimas

Tavo užduotis yra atkurti Orakulą per eilę analizių ir galutinį prognozuojantį modelį.

📊 Duomenų rinkinys

Kiekviena eilutė iš failų train.csv ir test.csv reprezentuoja sakinių porą:

• sampleID – unikalus poros identifikatorius
• sentence1 – pirmasis tekstas
• sentence2 – antrasis tekstas
• score – tik train.csv, reali reikšmė nuo 0 iki 5, nurodanti panašumą

Galutinis tikslas yra prognozuoti score kiekvienai eilutei iš test.csv.

📝 Užduotys

Pirmoms užduotims reikia išanalizuoti duomenis, pateiktus train.csv ir test.csv
ir išgauti įvairią aktualią informaciją apie sakinius iš testo.

1 užduotis (10 taškų)

Apskaičiuokite kiekvieno sakinio (sentence1 ir sentence2) ilgį kiekvienai eilutei iš testo rinkinio
ir pažymėkite porą pagal vidutinį ilgį:

• Short jei vidurkis < 50
• Medium jei 50 ≤ vidurkis < 100
• Long jei vidurkis ≥ 100

2 užduotis (15 taškų)

Kiekvienai eilutei iš testo, apskaičiuokite žodžių skaičių kiekviename sakinyje (sentence1 ir sentence2) ir nustatykite bendrą skaičių pagal formulę:

1bendras_skaičius = žodžių_sk(sentence1) + žodžių_sk(sentence2)

3 užduotis (15 taškų)

Nustatykite absoliutų skirtumą tarp sentence1 ir sentence2 ilgio
kiekvienai eilutei iš testo.

Kitaip tariant, kiekvienai eilutei turime apskaičiuoti:

1|simbolių_sk(sentence1) - simbolių_sk(sentence2)|

4 užduotis (60 taškų)

Sukurkite mašininio mokymosi modelį, galintį prognozuoti skaitinę reikšmę score
kiekvienai eilutei iš test.csv.

Galutinis vertinimas bus atliekamas naudojant MAE (Mean Absolute Error), apskaičiuojamą taip:

🧮 Vertinimas

4 užduoties metrika yra:

• MAE (Mean Absolute Error) (kuo mažesnė reikšmė, tuo daugiau taškų bus gauta).
• Jei modelis pasiekia MAE ≤ 0.65, sprendimas gauna 60 taškų.
• Jei modelis pasiekia MAE ≥ 2.0, sprendimas gauna 0 taškų.
• Tarpinėms MAE reikšmėms taškai skaičiuojami proporcingai.

1-3 užduotims atsakymai vertinami tiksliai.

📌 Pastabos

• Tokie apdorojimai kaip tokenizacija, embeddings, iš anksto apmokyti modeliai yra leidžiami.

📄 Pateikimo failo formatas

Failas submission.csv turi turėti po 4 eilutes kiekvienai testo eilutei,
atitinkančias 4 užduotis.

Struktūra:

1subtaskID datapointID answer

Stulpelių reikšmės:

• subtaskID – skaičius nuo 1 iki 4

• datapointID – sampleID iš testo

• answer – rezultatas:

  • 1 užduotis: Short / Medium / Long
  • 2 užduotis: sveikasis skaičius
  • 3 užduotis: sveikasis skaičius
  • 4 užduotis: reali reikšmė (prognozuojamas balas)

Pavyzdys sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Sėkmės! Didžioji Archyvarių Taryba deda viltis į jus, kad atgaivintumėte Panašumo orakulą! 🧙‍♂️