Proročište tekstualne sličnosti

📚 Proročište sličnosti 🔮

U Biblioteci Velikog Kraljevstva, arhivisti se suočavaju s sve težim zadatkom:
tisuće rukopisa, pergamena i starih kronika treba organizirati, usporediti i indeksirati.

Da bi im pomogli, preci su stvorili legendarni mehanizam: Proročište sličnosti. To je
uređaj sposoban ustanoviti, s izuzetnom preciznošću, koliko su slična
dva fragmenta teksta, vraćajući rezultat između 0 i 5.

Ali mehanizam se degradirao tijekom vremena, pa je Veliko vijeće arhivista odlučilo da je potrebna
moderna verzija, izgrađena pomoću strojnog učenja.

Za to su vam stavljena na raspolaganje dva datoteke:

• train.csv - pergameni ručno anotirani od pisara
• test.csv - novi parovi koje treba analizirati vašim rješenjem

Vaš zadatak je rekonstruirati Proročište kroz niz analiza i konačni prediktivni model.

📊 Skup podataka

Svaki red u datotekama train.csv i test.csv predstavlja par rečenica:

• sampleID – jedinstveni identifikator para
• sentence1 – prvi tekst
• sentence2 – drugi tekst
• score – samo u train.csv, realna vrijednost između 0 i 5 koja označava sličnost

Konačni cilj je predvidjeti score za svaki red u test.csv.

📝 Zadaci

Za prve podzadatke, trebate analizirati podatke dane u train.csv i test.csv
i izvući različite relevantne informacije o rečenicama iz testa.

Podzadatak 1 (10 bodova)

Izračunajte duljinu svake rečenice (sentence1 i sentence2) za svaki red iz test skupa
i označite par prema prosjećnoj duljini:

• Short ako je prosjek < 50
• Medium ako je 50 ≤ prosjek < 100
• Long ako je prosjek ≥ 100

Podzadatak 2 (15 bodova)

Za svaki red iz testa, izračunajte broj riječi u svakoj rečenici (sentence1 i sentence2) i odredite ukupni broj prema formuli:

1ukupni_broj = br_riječi(sentence1) + br_riječi(sentence2)

Podzadatak 3 (15 bodova)

Ustanovite apsolutnu razliku između duljine sentence1 i duljine sentence2
za svaki red iz testa.

Drugim riječima, za svaki red trebamo izračunati:

1|br_znakova(sentence1) - br_znakova(sentence2)|

Podzadatak 4 (60 bodova)

Izgradite model strojnog učenja sposoban predvidjeti numeričku vrijednost score
za svaki red u test.csv.

Konačna evaluacija će se napraviti koristeći MAE (Mean Absolute Error), izračunat ovako:

🧮 Evaluacija

Metrika za Podzadatak 4 je:

• MAE (Mean Absolute Error) (što je vrijednost manja, broj bodova će biti veći).
• Ako model postigne MAE ≤ 0.65, rješenje dobiva 60 bodova.
• Ako model postigne MAE ≥ 2.0, rješenje dobiva 0 bodova.
• Za međuvrijednosti MAE-a, bodovi se računaju proporcionalno.

Za podzadatke 1-3, odgovori se evaluiraju točno.

📌 Napomene

• Tretmani poput tokenizacije, embeddings, pred-trenirani modeli su dozvoljeni.

📄 Format datoteke za predaju

Datoteka submission.csv mora sadržavati po 4 linije za svaki red iz testa,
odgovarajuće za 4 podzadatka.

Struktura:

1subtaskID datapointID answer

Značenje stupaca:

• subtaskID – broj između 1 i 4

• datapointID – sampleID iz testa

• answer – rezultat:

  • Podzadatak 1: Short / Medium / Long
  • Podzadatak 2: cijeli broj
  • Podzadatak 3: cijeli broj
  • Podzadatak 4: realna vrijednost (predviđeni rezultat)

Primjer za sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Uspjeh! Veliko vijeće arhivista polaže svoje nade u vas za oživljavanje Proročišta sličnosti! 🧙‍♂️