Оракул сличности текста

📚 Orakul sličnosti 🔮

U Biblioteci Velikog Kraljevstva, arhivisti se suočavaju sa sve težim zadatkom:
hiljade rukopisa, pergamenata i starih hronika mora da bude organizovano, poređeno i indeksirano.

Da bi im pomogli, preci su stvorili legendarni mehanizam: Orakul sličnosti. Ovo je
uređaj sposoban da utvrdi, sa izuzetnom preciznošću, koliko su slična
dva fragmenta teksta, vraćajući skor između 0 i 5.

Ali mehanizam se degradirao tokom vremena, a Veliki Savet Arhivista je odlučio da je potrebna
moderna verzija, izgrađena koristeći mašinsko učenje.

Za ovo su vam stavljena na raspolaganje dva fajla:

• train.csv - pergamenti ručno anotirani od strane pisara
• test.csv - novi parovi koji treba da budu analizirani od strane vašeg rešenja

Vaš zadatak je da rekonstruišete Orakul kroz seriju analiza i finalni prediktivni model.

📊 Skup podataka

Svaki red u fajlovima train.csv i test.csv predstavlja par rečenica:

• sampleID – jedinstveni identifikator para
• sentence1 – prvi tekst
• sentence2 – drugi tekst
• score – samo u train.csv, realna vrednost između 0 i 5 koja označava sličnost

Finalni cilj je da predvidite score za svaki red iz test.csv.

📝 Zadaci

Za prve podzadatke, treba da analizirate podatke date u train.csv i test.csv
i da izvučete različite relevantne informacije o rečenicama iz test skupa.

Podzadatak 1 (10 poena)

Izračunajte dužinu svake rečenice (sentence1 i sentence2) za svaki red iz test skupa
i etiketirajte par u zavisnosti od prosečne dužine:

• Short ako je prosek < 50
• Medium ako je 50 ≤ prosek < 100
• Long ako je prosek ≥ 100

Podzadatak 2 (15 poena)

Za svaki red iz test skupa, izračunajte broj reči u svakoj rečenici (sentence1 i sentence2) i odredite ukupan broj prema formuli:

1ukupan_broj = br_reči(sentence1) + br_reči(sentence2)

Podzadatak 3 (15 poena)

Ustanovite apsolutnu razliku između dužine sentence1 i dužine sentence2
za svaki red iz test skupa.

Drugim rečima, za svaki red treba da izračunamo:

1|br_karaktera(sentence1) - br_karaktera(sentence2)|

Podzadatak 4 (60 poena)

Izgradite model mašinskog učenja sposoban da predvidi numeričku vrednost score
za svaki red iz test.csv.

Finalna evaluacija će se vršiti koristeći MAE (Mean Absolute Error), izračunat ovako:

🧮 Evaluacija

Metrika za Podzadatak 4 je:

• MAE (Mean Absolute Error) (što je vrednost manja, broj poena će biti veći).
• Ako model postigne MAE ≤ 0.65, rešenje dobija 60 poena.
• Ako model postigne MAE ≥ 2.0, rešenje dobija 0 poena.
• Za intermedijarne vrednosti MAE, bodovanje se računa proporcionalno.

Za podzadatke 1-3, odgovori se evaluiraju tačno.

📌 Napomene

• Tretmani poput tokenizacije, embeddings, pre-trenirani modeli su dozvoljeni.

📄 Format fajla za submisiju

Fajl submission.csv treba da sadrži po 4 linije za svaki red iz test skupa,
koje odgovaraju 4 podzadatka.

Struktura:

1subtaskID datapointID answer

Značenje kolona:

• subtaskID – broj između 1 i 4

• datapointID – sampleID iz test skupa

• answer – rezultat:

  • Podzadatak 1: Short / Medium / Long
  • Podzadatak 2: ceo broj
  • Podzadatak 3: ceo broj
  • Podzadatak 4: realna vrednost (predviđeni skor)

Primer za sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Uspeh! Veliki Savet Arhivista polaže nade u vas za oživljavanje Orakula sličnosti! 🧙‍♂️