Den Sovende Sherifs Stjernebilleder

Den Sovende Sherifs Stjernebilleder

En udfordring fra det vilde vesten

Bemærk

Det er eksplicit tilladt at bruge prætrænede sprogmodeller (f.eks. BERT, RoBERTa, sentence-transformers) med indlæste weights. GPU-acceleration til træning og inferens er fuldt ud tilladt. Klassiske NLP-pipelines baseret på TF-IDF er også tilladt og opfordres.

Historien

Et sted på de tørre sletter i New Mexico, 1883.

Den gamle sherif Clem Dudley havde en vane, som ingen af hans vicesheriffer nogensinde forstod: hver aften, uanset hvor lang dagen havde været, lagde han sin hat på hestens sadel, lagde sig på sit tæppe og kiggede direkte op mod himlen.

"Stjernerne lyver ikke," plejede han at sige. "Enhver flygtning, enhver vagabond, enhver ærlig mand — de kigger alle på den samme himmel."

En augustnat, udmattet efter tre dages jagt på Vega-banden gennem ørkenen, lagde Clem sig under en himmel sort som blæk, overstrøet med flere stjerner, end han nogensinde havde talt. Han forsøgte at falde i søvn, da stjernerne begyndte at bevæge sig — langsomt i starten, som gløder båret af vinden fra et døende bål. Derefter hurtigere og hurtigere. De trak linjer mellem hinanden. Trekanter. Spiraler. Dyr. Tal. Former, han ikke kendte navnet på.

"Det må være varmen," mumlede han. Men han blev ved med at kigge.

Formerne blev til ord. Ikke udtalt — følt. Hvert stjernebillede syntes at bære en betydning, en vægt, en historie, der hang ved det som en efterlysningsplakat på en sherif-tavle. Han rakte ud efter sin blyant for at notere dem ned, og i det øjeblik — ingenting.

Han vågnede et andet sted.

Riget mellem stjernerne. Det var det, de kaldte det.

Det var et enormt og tavst territorium, hvor himlen var jorden, og stjernebillederne var landsbyer — hver især en gruppe stjerner arrangeret i en form, og hver form bar et navn, der ventede på at blive matchet med sin historie. Indbyggerne i dette rige, Stjerneskriverne, havde ført omhyggelige optegnelser i århundreder: dagbøger, digte, rejseskildringer, legender — alt sammen skrevet af mennesker, der havde betragtet de samme stjerneformer nedefra jorden.

Men noget var gået galt. En stor himmelstorm — de lokale kaldte den Spredningen — havde revet hver eneste mærkat af hvert stjernebillede og kastet dem for vinden. Nu svævede tusindvis af tekster løsrevet over de stjerneformer, de engang beskrev, og Stjerneskriverne kunne ikke længere sige, hvilken historie der hørte til hvilken himmel.

Clem fik overrakt et skilt af stjernelys og en enkel instruks:

"Match ordene tilbage til stjernerne, sherif. Før den næste storm kommer."

Opgaven

Du får tildelt et sæt stjernebilleder, hver beskrevet ved en sekvens af 2D-punkter, der danner en geometrisk form (f.eks. et kors, en spiral, en femkantet figur, tal som 6, 7, 8, talkombinationer osv.). Du får også en stor pulje af kandidat-tekstfragmenter — dagbogsnotater, legender, beskrivelser — hver oprindeligt skrevet om ét specifikt stjernebillede.

Målet er at bygge en model, der er i stand til korrekt at tildele hvert tekststykke fra puljen til det tilsvarende stjernebillede, udelukkende baseret på det semantiske og strukturelle forhold mellem koordinaternes geometri og tekstens indhold.

Datastruktur

Træningssættet

train.csv indeholder 300 stjernebillede-tekst par med labels:

• Hvert stjernebillede-ID optræder 40-65 gange med små geometriske variationer (støj, rotation, skalering).

Testsættet

test.csv indeholder 50 sekvenser af stjernebilleder uden labels (datapointID 1-50):

Hvert datapointID optræder 40-65 gange. Der leveres ingen tekstlabels.

Kandidattekster

candidates.csv indeholder 500 tekstfragmenter:

• Præcis 50 af disse 500 tekster er de korrekte matches til de 50 test-stjernebilleder.
• De øvrige 450 er distraktioner.
• Teksterne er af litterær karakter — der optræder ikke direkte geometrisk ordforråd i dem.

Indsendelsesformat

Indsendelsesfilen skal være i CSV-format med følgende kolonner:

Hver af de 50 test-datapointID'er skal optræde præcis én gang.

Eksempel:

1subtaskID,datapointID,answer21,1,4231,2,31741,3,4675...

Evalueringsmetrik

Accuracy (svarende til F1-macro)

Hver forudsigelse evalueres som en single-label klassificering over de 500 kandidat-tekst-ID'er. Forudsigelsen er enten korrekt (1) eller forkert (0).

Den endelige metrik er antallet af korrekte forudsigelser / 50.

Pointfunktion

De rå scores konverteres til konkurrencepoint ved hjælp af en lineær funktion med en minimumstærskel:

Kort sagt: du skal matche mindst 15 ud af 50 stjernebilleder korrekt (accuracy = 0.30) for at få point, og korrekt match af 43 eller flere (accuracy >= 0.85) giver maksimumpoint.

"Stjernerne lyver ikke. Du kan stole mere på en stjerne end på et menneske..." — Sherif Clem Dudley, 1883