Nukkuvan šeriffin tähdistöt

Nukkuvan šeriffin tähdistöt

Haaste Villistä lännestä

Huomautus

Tehtävässä saa käyttää esikoulutettuja kielimalleja (esim. BERT, RoBERTa, sentence-transformers) ladatuilla painoilla. GPU-kiihdytys koulutukseen ja päättelyyn on täysin sallittua. Perinteiset TF-IDF-pohjaiset NLP-putket ovat myös sallittuja ja suositeltavia.

Tarina

Jossain New Mexicon kuivilla tasangoilla, 1883.

Vanha šeriffi Clem Dudleylla oli tapa, jota kukaan apulaissheriffi ei koskaan ymmärtänyt: joka ilta, riippumatta siitä kuinka pitkä päivä oli ollut, hän laski hattunsa satulalle, asettui makuulle peitolleen ja katsoi suoraan ylös taivaalle.

"Tähdet eivät valehtele", hänellä oli tapana sanoa. "Jokainen lainsuojaton, jokainen kulkuri, jokainen rehellinen mies — kaikki katsovat samaa taivasta."

Yhtenä elokuun yönä, uupuneena kolmen päivän Vega-jengin takaa-ajosta autiomaassa, Clem makasi mustan taivaan alla, joka oli täynnä enemmän tähtiä kuin hän oli koskaan laskenut. Hän yritti nukahtaa, kun tähdet alkoivat liikkua — aluksi hitaasti, kuin hiillos kuolevasta nuotiosta tuulen mukana. Sitten yhä nopeammin. Ne piirsivät viivoja välilleen. Kolmioita. Spiraaleja. Eläimiä. Numeroita. Muotoja, joille hän ei tiennyt nimeä.

"Tämän täytyy johtua kuumuudesta", hän murisi. Mutta hän jatkoi katsomista.

Muodot muuttuivat sanoiksi. Ei lausutuiksi — vaan tunnetuiksi. Jokainen tähdistö tuntui kantavan merkitystä, painoa, tarinaa, joka roikkui siinä kuin etsintäkuulutusilmoitus šeriffin ilmoitustaululla. Hän kurotti kynäänsä merkitäkseen ne muistiin, ja silloin — ei mitään.

Hän heräsi muualta.

Tähtien välinen valtakunta. Siksi he sitä kutsuivat.

Se oli valtava ja hiljainen alue, jossa taivas oli maata ja tähdistöt olivat kyliä — jokainen ryhmä tähtiä aseteltuna tiettyyn muotoon, ja jokaisella muodolla oli nimi, joka odotti yhdistämistä tarinaansa. Tämän valtakunnan asukkaat, Tähtien Kirjurit, olivat pitäneet tarkkaa kirjaa vuosisatojen ajan: päiväkirjoja, runoja, matkakertomuksia, legendoja — kaikki kirjoitettu ihmisten toimesta, jotka olivat katsoneet samoja tähtimuotoja alhaalta maasta.

Mutta jotain oli mennyt pieleen. Suuri taivaallinen myrsky — paikalliset kutsuivat sitä Hajonnaksi — oli repinyt jokaisen nimilapun jokaisesta tähdistöstä ja heittänyt ne tuuleen. Nyt tuhannet tekstit leijuivat irrallaan niiden tähtimuotojen yläpuolella, joita ne kerran kuvasivat, eivätkä Tähtien Kirjurit enää tienneet, mikä tarina kuului millekin taivaalle.

Clemille annettiin tähtivalosta tehty virkamerkki ja yksinkertainen ohje:

"Yhdistä sanat takaisin tähtiin, šeriffi. Ennen kuin seuraava myrsky saapuu."

Tehtävä

Sinulle annetaan joukko tähdistöjä, joista jokainen on kuvattu 2D-pisteiden sarjana, jotka muodostavat geometrisen muodon (esim. risti, spiraali, viisikulmainen kuvio, numerot kuten 6, 7, 8, numeroiden yhdistelmät jne.). Sinulle annetaan myös suuri joukko ehdokastekstejä — päiväkirjamerkintöjä, legendoja, kuvauksia — joista jokainen on alun perin kirjoitettu yhdestä tietystä tähdistöstä.

Tavoitteenasi on rakentaa malli, joka pystyy osoittamaan jokaiselle joukon tekstille oikean tähdistön perustuen yksinomaan koordinaattien geometrian ja tekstin sisällön väliseen semanttiseen ja rakenteelliseen suhteeseen.

Tietorakenne

Opetusaineisto

train.csv sisältää 300 tähdistö-tekstiparia tunnisteineen:

• Jokainen tähdistö-ID esiintyy 40-65 kertaa pienillä geometrisilla variaatioilla (kohina, rotaatio, skaalaus).

Testiaineisto

test.csv sisältää 50 tähdistösarjaa ilman tunnisteita (datapointID 1-50):

Jokainen datapointID esiintyy 40-65 kertaa. Tekstitunnisteita ei anneta.

Ehdokastekstit

candidates.csv sisältää 500 tekstikatkelmaa:

• Täsmälleen 50 näistä 500 tekstistä on oikeita vastineita 50 testitähdistölle.
• Loput 450 ovat hämäyksiä.
• Tekstit ovat luonteeltaan kirjallisia — niissä ei esiinny suoraa geometrista sanastoa.

Palautusmuoto

Palautustiedoston on oltava CSV-muodossa seuraavilla sarakkeilla:

Jokaisen 50 testitunnisteen (datapointID) on esiinnyttävä täsmälleen kerran.

Esimerkki:

1subtaskID,datapointID,answer21,1,4231,2,31741,3,4675...

Arviointimetriikka

Tarkkuus (vastaa F1-macroa)

Jokainen ennuste arvioidaan single-label-luokitteluna 500 ehdokastekstin yli. Ennuste on joko oikein (1) tai väärin (0).

Lopullinen metriikka on oikeiden ennusteiden määrä / 50.

Pisteytysfunktio

Raakapisteet muunnetaan kilpailupisteiksi käyttämällä lineaarista funktiota minimikynnyksellä:

Lyhyesti: sinun on yhdistettävä oikein vähintään 15/50 tähdistöä (tarkkuus = 0.30) saadaksesi pisteitä, ja 43 tai useamman (tarkkuus >= 0.85) oikein yhdistäminen antaa täydet pisteet.

"Tähdet eivät valehtele. Tähteen voi luottaa enemmän kuin ihmiseen..." — Šeriffi Clem Dudley, 1883