Orákulum textové podobnosti

📚 Orákulum podobnosti 🔮

V Knihovně Velkého království se archiváři potýkají se stále obtížnějším úkolem:
tisíce rukopisů, pergamenů a starých kronik je třeba organizovat, porovnávat a indexovat.

Aby jim pomohli, předkové vytvořili legendární mechanismus: Orákulum podobnosti. Jedná se
o zařízení schopné stanovit s pozoruhodnou přesností, jak podobné
jsou dva textové fragmenty, a vrátit skóre mezi 0 a 5.

Ale mechanismus se časem zhoršil a Velká rada archivářů rozhodla, že je potřeba
moderní verze, postavená pomocí strojového učení.

K tomu máte k dispozici dva soubory:

• train.csv - pergameny ručně anotované písaři
• test.csv - nové páry, které musí analyzovat vaše řešení

Vaším úkolem je rekonstruovat Orákulum prostřednictvím série analýz a finálního prediktivního modelu.

📊 Datová sada

Každý řádek v souborech train.csv a test.csv představuje pár vět:

• sampleID – jedinečný identifikátor páru
• sentence1 – první text
• sentence2 – druhý text
• score – pouze v train.csv, reálná hodnota mezi 0 a 5 označující podobnost

Konečným cílem je předpovědět score pro každý řádek v test.csv.

📝 Úkoly

Pro první podúkoly musíte analyzovat data poskytnutá v train.csv a test.csv
a extrahovat různé relevantní informace o větách z testu.

Podúkol 1 (10 bodů)

Vypočítejte délku každé věty (sentence1 a sentence2) pro každý řádek z testovací sady
a označte pár podle průměrné délky:

• Short pokud průměr < 50
• Medium pokud 50 ≤ průměr < 100
• Long pokud průměr ≥ 100

Podúkol 2 (15 bodů)

Pro každý řádek z testu vypočítejte počet slov v každé větě (sentence1 a sentence2) a určete celkový počet podle vzorce:

1celkový_počet = počet_slov(sentence1) + počet_slov(sentence2)

Podúkol 3 (15 bodů)

Stanovte absolutní rozdíl mezi délkou sentence1 a délkou sentence2
pro každý řádek z testu.

Jinými slovy, pro každý řádek musíme vypočítat:

1|počet_znaků(sentence1) - počet_znaků(sentence2)|

Podúkol 4 (60 bodů)

Sestavte model strojového učení schopný předpovědět numerickou hodnotu score
pro každý řádek z test.csv.

Finální hodnocení se provede pomocí MAE (Mean Absolute Error), vypočítané takto:

🧮 Hodnocení

Metrika pro Podúkol 4 je:

• MAE (Mean Absolute Error) (čím nižší hodnota, tím vyšší počet bodů).
• Pokud model dosáhne MAE ≤ 0.65, řešení získá 60 bodů.
• Pokud model dosáhne MAE ≥ 2.0, řešení získá 0 bodů.
• Pro mezilehlé hodnoty MAE se bodové skóre počítá proporcionálně.

Pro podúkoly 1-3 se odpovědi hodnotí přesně.

📌 Poznámky

• Zpracování jako tokenizace, embeddings, předtrénované modely jsou povoleny.

📄 Formát souboru pro odevzdání

Soubor submission.csv musí obsahovat 4 řádky pro každý řádek z testu,
odpovídající 4 podúkolům.

Struktura:

1subtaskID datapointID answer

Význam sloupců:

• subtaskID – číslo mezi 1 a 4

• datapointID – sampleID z testu

• answer – výsledek:

  • Podúkol 1: Short / Medium / Long
  • Podúkol 2: celé číslo
  • Podúkol 3: celé číslo
  • Podúkol 4: reálná hodnota (předpovězené skóre)

Příklad pro sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Hodně štěstí! Velká rada archivářů vkládá své naděje do vás pro oživení Orákula podobnosti! 🧙‍♂️