Ozvezdja spečega šerifa

Ozvezdja spečega šerifa

Izziv z Divjega zahoda

Opomba

Eksplicitno se lahko uporabljajo vnaprej naučeni jezikovni modeli (npr. BERT, RoBERTa, sentence-transformers) z naloženimi utežmi. GPU pospeševanje za učenje in sklepanje je v celoti dovoljeno. Klasični NLP cevovodi, ki temeljijo na TF-IDF, so prav tako dovoljeni in spodbujani.

Zgodba

Nekje na sušnih ravnicah Nove Mehike, 1883.

Stari šerif Clem Dudley je imel navado, ki je noben namestnik ni nikoli razumel: vsak večer, ne glede na to, kako dolg je bil dan, je odložil klobuk na sedlo konja, se ulegel na odejo in zrl naravnost navzgor, v nebo.

"Zvezde ne lažejo," je rad govoril. "Vsak ubežnik, vsak potepuh, vsak poštenjak — vsi gledajo isto nebo."

Neke avgustovske noči, izčrpan po treh dneh zasledovanja tolpe Vega skozi puščavo, se je Clem ulegel pod nebo, črno kot črnilo, posuto z več zvezdami, kot jih je kdaj preštel. Poskušal je zaspati, ko so se zvezde začele premikati — sprva počasi, kot žerjavica, ki jo nosi veter iz ugašajočega ognja. Nato vedno hitreje. Risale so črte med seboj. Trikotnike. Spirale. Živali. Številke. Oblike, katerih imen ni poznal.

"Gotovo je vročina," je zamrmral. Toda še vedno je gledal.

Oblike so postale besede. Ne izgovorjene — občutene. Vsako ozvezdje se je zdelo, da nosi pomen, težo, zgodbo, ki visi na njem kot tiralica na šerifovi oglasni deski. Segel je po svinčniku, da bi jih zapisal, in takrat — nič.

Prebudil se je drugje.

Dežela med zvezdami. Tako so jo imenovali.

To je bilo prostrano in tiho ozemlje, kjer je bilo nebo zemlja, ozvezdja pa vasi — vsaka skupina zvezd, razporejena v obliko, in vsaka oblika z imenom, ki je čakalo, da se ujame s svojo zgodbo. Prebivalci te dežele, Zvezdni pisarji, so stoletja vodili natančne evidence: dnevnike, pesmi, potopise, legende — vse, kar so napisali ljudje, ki so opazovali iste zvezdne oblike od spodaj, z zemlje.

Toda nekaj je šlo narobe. Velika nebeška nevihta — domačini so jo imenovali Razpršitev — je odtrgala vsako oznako z vsakega ozvezdja in jih razpihala v veter. Zdaj je na tisoče besedil lebdelo nepovezanih nad zvezdnimi oblikami, ki so jih nekoč opisovala, in Zvezdni pisarji niso več vedeli, katera zgodba pripada kateremu nebu.

Clemu so izročili značko iz zvezdne svetlobe in preprosto navodilo:

"Poveži besede nazaj z zvezdami, šerif. Preden pride naslednja nevihta."

Naloga

Podan vam je nabor zvezdnih ozvezdij, od katerih je vsako opisano z zaporedjem 2D točk, ki tvorijo geometrijsko obliko (npr. križ, spirala, petkraka figura, številke kot so 6, 7, 8, kombinacije številk itd.). Podan vam je tudi velik nabor kandidatnih literarnih odlomkov — dnevniških zapisov, legend, opisov — od katerih je bil vsak prvotno napisan o enem specifičnem ozvezdju.

Vaš cilj je zgraditi model, ki bo sposoben pravilno dodeliti vsakemu besedilu iz nabora ustrezno ozvezdje, pri čemer se opira izključno na semantično in strukturno razmerje med geometrijo koordinat in vsebino besedila.

Struktura podatkov

Učna množica

train.csv vsebuje 300 parov ozvezdje-besedilo z oznakami:

• Vsak ID ozvezdja se pojavi 40-65 krat z rahlimi geometrijskimi variacijami (šum, rotacija, skaliranje).

Testna množica

test.csv vsebuje 50 zaporedij ozvezdij brez oznak (datapointID 1-50):

Vsak datapointID se pojavi 40-65 krat. Besedilne oznake niso podane.

Kandidatna besedila

candidates.csv vsebuje 500 besedilnih odlomkov:

• Natančno 50 od teh 500 besedil je pravilnih ujemanj za 50 testnih ozvezdij.
• Ostalih 450 je motilcev.
• Besedila so literarne narave — v njih se ne pojavlja neposredno geometrijsko besedišče.

Format oddaje

Datoteka za oddajo mora biti v formatu CSV z naslednjimi stolpci:

Vsak od 50 testnih datapointID-jev se mora pojaviti natančno enkrat.

Primer:

1subtaskID,datapointID,answer21,1,4231,2,31741,3,4675...

Metrika ocenjevanja

Natančnost (ekvivalentno F1-macro)

Vsaka napoved se oceni kot klasifikacija z eno oznako (single-label) čez 500 kandidatnih ID-jev besedil. Napoved je bodisi pravilna (1) bodisi napačna (0).

Končna metrika je število pravilnih napovedi / 50.

Funkcija točkovanja

Surovi rezultati se pretvorijo v tekmovalne točke z uporabo linearne funkcije z minimalnim pragom:

Skratka: pravilno morate povezati vsaj 15 od 50 ozvezdij (natančnost = 0.30), da prejmete kakršne koli točke, pravilna povezava 43 ali več (natančnost >= 0.85) pa prinese maksimalno število točk.

"Zvezde ne lažejo. Zvezdi lahko zaupaš bolj kot človeku..." — Šerif Clem Dudley, 1883