Sazvežđa Uspavanog Šerifa

Sazvežđa Uspavanog Šerifa

Izazov sa Divljeg zapada

Napomena

Eksplicitno se mogu koristiti unapred obučeni jezički modeli (npr. BERT, RoBERTa, sentence-transformers) sa učitanim težinama (weights). GPU ubrzanje za obuku i inferenciju je potpuno dozvoljeno. Klasični NLP pajplajni zasnovani na TF-IDF su takođe dozvoljeni i ohrabreni.

Priča

Negde u sušnim ravnicama Novog Meksika, 1883.

Stari šerif Klem Dadli imao je običaj koji nijedan zamenik nikada nije razumeo: svake večeri, bez obzira na to koliko je dan bio dug, stavio bi šešir na sedlo konja, ispružio se na ćebetu i gledao pravo gore, u nebo.

„Zvezde ne lažu“, običavao je da kaže. „Svaki begunac, svaka skitnica, svaki pošten čovek — svi gledaju u isto nebo.“

Jedne avgustovske noći, iscrpljen nakon tri dana jurenja bande Vega kroz pustinju, Klem se ispružio pod nebom crnim kao mastilo, posutim sa više zvezda nego što je ikada izbrojao. Pokušavao je da zaspi kada su zvezde počele da se kreću — polako u početku, kao žar koji nosi vetar sa vatre koja se gasi. Zatim sve brže. Povlačile su linije između sebe. Trouglove. Spirale. Životinje. Cifre. Forme kojima nije znao ime.

„Mora da je od vrućine“, promrmljao je. Ali je i dalje gledao.

Oblici su postali reči. Ne izgovorene — već osećene. Svako sazvežđe kao da je nosilo značenje, težinu, priču okačenu o njega kao poternicu na šerifovoj oglasnoj tabli. Posegnuo je za olovkom da ih zapiše, i tada — ništa.

Probudio se na drugom mestu.

Carstvo između zvezda. Tako su ga oni zvali.

Bila je to prostrana i tiha teritorija gde je nebo bilo zemlja, a sazvežđa su bila sela — svako grupa zvezda raspoređenih u oblik, i svaki oblik koji nosi ime koje čeka da bude upareno sa svojom pričom. Stanovnici ovog carstva, Pisari zvezda, vodili su pedantnu evidenciju vekovima: dnevnike, pesme, putopise, legende — sve napisano od strane ljudi koji su posmatrali iste oblike zvezda odozdo, sa zemlje.

Ali nešto je pošlo po zlu. Velika nebeska oluja — lokalci su je zvali Rasipanje — otrgla je svaku etiketu sa svakog sazvežđa i bacila ih u vetar. Sada su hiljade tekstova plutale nepovezano iznad oblika zvezda koje su nekada opisivali, a Pisari zvezda više nisu mogli da kažu koja priča pripada kom nebu.

Klemu je uručena značka od zvezdane svetlosti i jednostavno uputstvo:

„Vrati reči zvezdama, šerife. Pre nego što dođe sledeća oluja.“

Zadatak

Dat vam je skup sazvežđa zvezda, od kojih je svako opisano nizom 2D tačaka koje formiraju geometrijski oblik (npr. krst, spirala, figura sa pet uglova, cifre kao što su 6, 7, 8, kombinacije cifara, itd). Takođe vam je dat veliki skup kandidata za tekstualne fragmente — zapisi iz dnevnika, legende, opisi — od kojih je svaki prvobitno napisan o jednom specifičnom sazvežđu.

Vaš cilj je da izgradite model sposoban da ispravno dodeli svakom tekstu iz skupa odgovarajuće sazvežđe, oslanjajući se isključivo na semantičku i strukturnu vezu između geometrije koordinata i sadržaja teksta.

Struktura podataka

Skup za obuku (Train set)

train.csv sadrži 300 parova sazvežđe-tekst sa oznakama:

• Svaki ID sazvežđa se pojavljuje 40-65 puta sa blagim geometrijskim varijacijama (šum, rotacija, skaliranje).

Skup za testiranje (Test set)

test.csv sadrži 50 sekvenci sazvežđa bez oznaka (datapointID 1-50):

Svaki datapointID se pojavljuje 40-65 puta. Tekstualne oznake nisu date.

Tekstovi kandidati

candidates.csv sadrži 500 tekstualnih fragmenata:

• Tačno 50 od ovih 500 tekstova su ispravni parovi za 50 testnih sazvežđa.
• Ostalih 450 su distraktori.
• Tekstovi su književnog karaktera — u njima se ne pojavljuje direktan geometrijski rečnik.

Format za slanje rešenja

Fajl sa rešenjem mora biti u CSV formatu sa sledećim kolonama:

Svaki od 50 testnih datapointID-ova mora se pojaviti tačno jednom.

Primer:

1subtaskID,datapointID,answer21,1,4231,2,31741,3,4675...

Metrika evaluacije

Tačnost (ekvivalentno F1-macro)

Svako predviđanje se ocenjuje kao klasifikacija sa jednom oznakom (single-label) preko 500 kandidata za tekstualni ID. Predviđanje je ili tačno (1) ili netačno (0).

Finalna metrika je broj tačnih predviđanja / 50.

Funkcija bodovanja

Sirovi rezultati se konvertuju u takmičarske poene koristeći linearnu funkciju sa minimalnim pragom:

Ukratko: morate ispravno upariti najmanje 15 od 50 sazvežđa (tačnost = 0.30) da biste dobili bilo kakve bodove, dok ispravno uparivanje 43 ili više (tačnost >= 0.85) donosi maksimalan broj bodova.

„Zvezde ne lažu. Možeš više verovati zvezdi nego čoveku...“ — Šerif Klem Dadli, 1883