Súhvezdia spiaceho šerifa

Súhvezdia spiaceho šerifa

Výzva z Divokého západu

Poznámka

Je povolené explicitne používať predtrénované jazykové modely (napr. BERT, RoBERTa, sentence-transformers) s načítanými váhami. GPU akcelerácia pre trénovanie a inferenciu je plne povolená. Klasické NLP pipeline-y založené na TF-IDF sú taktiež povolené a odporúčané.

Príbeh

Niekde na suchých pláňach Nového Mexika, 1883.

Starý šerif Clem Dudley mal zvyk, ktorý žiaden z jeho zástupcov nikdy nepochopil: každý večer, bez ohľadu na to, aký dlhý bol deň, si položil klobúk na sedlo koňa, ľahol si na deku a pozeral sa priamo hore na oblohu.

„Hviezdy neklamú,“ hovorieval. „Každý utečenec, každý tulák, každý čestný človek – všetci sa pozerajú na tú istú oblohu.“

Jednej augustovej noci, vyčerpaný po troch dňoch prenasledovania bandy Vega cez púšť, si Clem ľahol pod oblohu čiernu ako atrament, posiatu viacerými hviezdami, než kedykoľvek napočítal. Pokúšal sa zaspať, keď sa hviezdy začali hýbať – najprv pomaly, ako žeravé uhlíky unášané vetrom z dohasínajúceho ohňa. Potom čoraz rýchlejšie. Kreslili medzi sebou čiary. Trojuholníky. Špirály. Zvieratá. Číslice. Tvary, ktorých mená nepoznal.

„To musí byť z toho tepla,“ zamrmlal. Ale stále sa díval.

Tvary sa zmenili na slová. Nie vyslovené – precítené. Každé súhvezdie akoby nieslo význam, váhu, príbeh zavesený na ňom ako plagát „Hľadá sa“ na šerifovej nástenke. Natiahol ruku po ceruzku, aby si ich zapísal, a vtedy – nič.

Prebudil sa inde.

Ríša medzi hviezdami. Tak ju nazývali.

Bolo to rozľahlé a tiché územie, kde obloha bola zemou a súhvezdia boli dedinami – každé tvorila skupina hviezd usporiadaných do tvaru a každý tvar niesol meno, ktoré čakalo na priradenie k svojmu príbehu. Obyvatelia tejto ríše, Hviezdni pisári, viedli po stáročia pedantné záznamy: denníky, básne, cestovné denníky, legendy – všetko napísané ľuďmi, ktorí sa pozerali na tie isté tvary hviezd zdola, zo zeme.

Ale niečo sa pokazilo. Veľká nebeská búrka – miestni ju volali Rozptýlenie – strhla každý štítok z každého súhvezdia a rozfúkala ich vo vetre. Teraz sa tisíce textov vznášali nespútané nad tvarmi hviezd, ktoré kedysi opisovali, a Hviezdni pisári už nevedeli určiť, ktorý príbeh patrí ku ktorej oblohe.

Clemovi odovzdali odznak z hviezdneho svetla a jednoduchý pokyn:

„Priraď slová späť k hviezdam, šerif. Skôr než príde ďalšia búrka.“

Úloha

Dostanete sadu súhvezdí, z ktorých každé je opísané sekvenciou 2D bodov tvoriacich geometrický tvar (napr. kríž, špirála, päťcípa postava, číslice ako 6, 7, 8, kombinácie číslic atď.). Dostanete tiež veľký súbor kandidátskych textových fragmentov – denníkové záznamy, legendy, opisy – pričom každý bol pôvodne napísaný o jednom konkrétnom súhvezdí.

Vaším cieľom je vytvoriť model schopný správne priradiť každému textu zo súboru zodpovedajúce súhvezdie, pričom sa bude spoliehať výlučne na sémantický a štrukturálny vzťah medzi geometriou súradníc a obsahom textu.

Štruktúra dát

Trénovacia sada

train.csv obsahuje 300 dvojíc súhvezdie-text s označeniami:

• Každé ID súhvezdia sa objavuje 40-65 krát s miernymi geometrickými variáciami (šum, rotácia, zmena mierky).

Testovacia sada

test.csv obsahuje 50 sekvencií súhvezdí bez označení (datapointID 1-50):

Každé datapointID sa objavuje 40-65 krát. Textové označenia nie sú poskytnuté.

Kandidátske texty

candidates.csv obsahuje 500 textových fragmentov:

• Presne 50 z týchto 500 textov sú správne zhody pre 50 testovacích súhvezdí.
• Ostatných 450 sú zavádzajúce texty (distraktory).
• Texty majú literárny charakter – neobsahujú priamu geometrickú slovnú zásobu.

Formát odovzdania

Súbor na odovzdanie musí byť vo formáte CSV s nasledujúcimi stĺpcami:

Každé z 50 testovacích datapointID sa musí objaviť presne raz.

Príklad:

1subtaskID,datapointID,answer21,1,4231,2,31741,3,4675...

Metrika hodnotenia

Accuracy (ekvivalent F1-macro)

Každá predpoveď sa vyhodnocuje ako klasifikácia s jedným označením (single-label) spomedzi 500 kandidátskych textových ID. Predpoveď je buď správna (1) alebo nesprávna (0).

Finálna metrika je počet správnych predpovedí / 50.

Bodovacia funkcia

Hrubé skóre sa konvertuje na súťažné body pomocou lineárnej funkcie s minimálnym prahom:

Stručne: musíte správne priradiť aspoň 15 z 50 súhvezdí (accuracy = 0.30), aby ste získali nejaké body, a správne priradenie 43 alebo viacerých (accuracy >= 0.85) prináša maximálny počet bodov.

„Hviezdy neklamú. Hviezde môžeš veriť viac ako človeku...“ — Šerif Clem Dudley, 1883