Orakelj podobnosti besedil

📚 Orakelj podobnosti 🔮

V Knjižnici Velikega Kraljestva se arhivarji soočajo z vedno težjo nalogo:
tisoči rokopisov, pergamentov in starih kronik mora biti organiziranih, primerjanih in indeksiranih.

Da bi jim pomagali, so predniki ustvarili legendarni mehanizem: Orakelj podobnosti. To je
naprava, ki lahko z izjemno natančnostjo določi, kako podobna
sta dva odlomka besedila, in vrne oceno med 0 in 5.

Vendar se je mehanizem sčasoma pokvaril, in Veliki svet arhivarjev je odločil, da je potrebna
sodobna različica, zgrajena z uporabo strojnega učenja.

Za to so vam na voljo dve datoteki:

• train.csv - pergamenti, ki so jih ročno označili pisarji
• test.csv - novi pari, ki jih mora analizirati vaša rešitev

Vaša naloga je, da rekonstruirate Orakelj z vrsto analiz in končnim napovednim modelom.

📊 Nabor podatkov

Vsaka vrstica v datotekah train.csv in test.csv predstavlja par stavkov:

• sampleID – edinstveni identifikator para
• sentence1 – prvo besedilo
• sentence2 – drugo besedilo
• score – samo v train.csv, realna vrednost med 0 in 5, ki označuje podobnost

Končni cilj je napovedati score za vsako vrstico v test.csv.

📝 Naloge

Za prve podnaloge morate analizirati podatke, podane v train.csv in test.csv,
in izvleči različne relevantne informacije o stavkih iz testa.

Podnaloga 1 (10 točk)

Izračunajte dolžino vsakega stavka (sentence1 in sentence2) za vsako vrstico iz testnega nabora
in označite par glede na povprečno dolžino:

• Short če je povprečje < 50
• Medium če je 50 ≤ povprečje < 100
• Long če je povprečje ≥ 100

Podnaloga 2 (15 točk)

Za vsako vrstico iz testa izračunajte število besed v vsakem stavku (sentence1 in sentence2) in določite skupno število po formuli:

1skupno_število = št_besed(sentence1) + št_besed(sentence2)

Podnaloga 3 (15 točk)

Določite absolutno razliko med dolžino sentence1 in dolžino sentence2
za vsako vrstico iz testa.

Z drugimi besedami, za vsako vrstico moramo izračunati:

1|št_znakov(sentence1) - št_znakov(sentence2)|

Podnaloga 4 (60 točk)

Zgradite model strojnega učenja, ki lahko napove numerično vrednost score
za vsako vrstico v test.csv.

Končno vrednotenje se bo izvedlo z uporabo MAE (Mean Absolute Error), izračunanega takole:

🧮 Vrednotenje

Metrika za podnaloga 4 je:

• MAE (Mean Absolute Error) (manjša kot je vrednost, več točk bo dobila rešitev).
• Če model doseže MAE ≤ 0.65, rešitev dobi 60 točk.
• Če model doseže MAE ≥ 2.0, rešitev dobi 0 točk.
• Za vmesne vrednosti MAE se točke izračunajo sorazmerno.

Za podnaloge 1-3 se odgovori vrednotijo natančno.

📌 Opombe

• Obdelave kot so tokenizacija, embeddings, vnaprej naučeni modeli so dovoljene.

📄 Format datoteke za oddajo

Datoteka submission.csv mora vsebovati 4 vrstice za vsako vrstico iz testa,
ki ustrezajo 4 podnaloga.

Struktura:

1subtaskID datapointID answer

Pomen stolpcev:

• subtaskID – število med 1 in 4

• datapointID – sampleID iz testa

• answer – rezultat:

  • Podnaloga 1: Short / Medium / Long
  • Podnaloga 2: celo število
  • Podnaloga 3: celo število
  • Podnaloga 4: realna vrednost (napovedana ocena)

Primer za sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Srečno! Veliki svet arhivarjev polaga svoje upanje vase za oživitev Oraklja podobnosti! 🧙‍♂️