Orákulum textovej podobnosti

📚 Orákulum podobnosti 🔮

V Knižnici Veľkého kráľovstva sa archivári stretávajú s čoraz ťažšou úlohou:
tisíce rukopisov, pergamenov a starých kroník treba organizovať, porovnávať a indexovať.

Aby im pomohli, predkovia vytvorili legendárny mechanizmus: Orákulum podobnosti. Toto je
zariadenie schopné stanoviť s pozoruhodnou presnosťou, ako podobné
sú dva fragmenty textu, pričom vracia skóre medzi 0 a 5.

Ale mechanizmus sa časom degradoval a Veľká rada archivárskych úradníkov rozhodla, že je potrebná
moderná verzia, postavená pomocou strojového učenia.

Na to máš k dispozícii dva súbory:

• train.csv - pergameny ručne anotované písarmi
• test.csv - nové páry, ktoré musí analyzovať tvoje riešenie

Tvojou úlohou je rekonštruovať Orákulum prostredníctvom série analýz a finálneho prediktívneho modelu.

📊 Dátová sada

Každý riadok v súboroch train.csv a test.csv predstavuje pár viet:

• sampleID – jedinečný identifikátor páru
• sentence1 – prvý text
• sentence2 – druhý text
• score – iba v train.csv, reálna hodnota medzi 0 a 5, ktorá označuje podobnosť

Konečným cieľom je predpovedať score pre každý riadok v test.csv.

📝 Úlohy

Pre prvé podúlohy musíte analyzovať údaje poskytnuté v train.csv a test.csv
a extrahovať rôzne relevantné informácie o vetách z testu.

Podúloha 1 (10 bodov)

Vypočítajte dĺžku každej vety (sentence1 a sentence2) pre každý riadok z testovacej sady
a označte pár podľa priemernej dĺžky:

• Short ak priemer < 50
• Medium ak 50 ≤ priemer < 100
• Long ak priemer ≥ 100

Podúloha 2 (15 bodov)

Pre každý riadok z testu vypočítajte počet slov v každej vete (sentence1 a sentence2) a určte celkový počet podľa vzorca:

1celkový_počet = počet_slov(sentence1) + počet_slov(sentence2)

Podúloha 3 (15 bodov)

Stanovte absolútny rozdiel medzi dĺžkou sentence1 a dĺžkou sentence2
pre každý riadok z testu.

Inými slovami, pre každý riadok musíme vypočítať:

1|počet_znakov(sentence1) - počet_znakov(sentence2)|

Podúloha 4 (60 bodov)

Vytvorte model strojového učenia schopný predpovedať numerickú hodnotu score
pre každý riadok z test.csv.

Finálne hodnotenie sa bude robiť pomocou MAE (Mean Absolute Error), vypočítané takto:

🧮 Hodnotenie

Metrika pre Podúlohu 4 je:

• MAE (Mean Absolute Error) (čím nižšia hodnota, tým vyšší počet bodov).
• Ak model dosiahne MAE ≤ 0.65, riešenie dostane 60 bodov.
• Ak model dosiahne MAE ≥ 2.0, riešenie dostane 0 bodov.
• Pre stredné hodnoty MAE sa bodovanie počíta proporcionálne.

Pre podúlohy 1-3 sa odpovede hodnotia presne.

📌 Poznámky

• Spracovanie ako tokenizácia, embeddings, predtrénované modely sú povolené.

📄 Formát súboru na odovzdanie

Súbor submission.csv musí obsahovať 4 riadky pre každý riadok z testu,
zodpovedajúce 4 podúlohám.

Štruktúra:

1subtaskID datapointID answer

Význam stĺpcov:

• subtaskID – číslo medzi 1 a 4

• datapointID – sampleID z testu

• answer – výsledok:

  • Podúloha 1: Short / Medium / Long
  • Podúloha 2: celé číslo
  • Podúloha 3: celé číslo
  • Podúloha 4: reálna hodnota (predpovedané skóre)

Príklad pre sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Úspech! Veľká rada archivárskych úradníkov vkladá svoje nádeje do vás na oživenie Orákula podobnosti! 🧙‍♂️