Miegančiojo Šerifo žvaigždynai

Miegančiojo Šerifo žvaigždynai

Iššūkis iš Laukinių Vakarų

Pastaba

Galima aiškiai naudoti iš anksto apmokytus kalbos modelius (pvz., BERT, RoBERTa, sentence-transformers) su įkeltais svoriais. GPU pagreitinimas apmokymui ir išvadoms (inference) yra visiškai leidžiamas. Klasikiniai NLP procesai (pipelines), pagrįsti TF-IDF, taip pat yra leidžiami ir skatinami.

Istorija

Kažkur sausose Naujosios Meksikos lygumose, 1883 m.

Senasis šerifas Clemas Dudley turėjo įprotį, kurio nesuprato nė vienas jo pavaduotojas: kiekvieną vakarą, nesvarbu, kokia ilga buvo diena, jis pasidėdavo skrybėlę ant arklio balno, atsiguldavo ant antklodės ir žiūrėdavo tiesiai į viršų, į dangų.

„Žvaigždės nemeluoja“, – sakydavo jis. „Kiekvienas bėglys, kiekvienas klajūnas, kiekvienas doras žmogus – visi žiūri į tą patį dangų.“

Vieną rugpjūčio naktį, išsekęs po trijų dienų Vegos gaujos persekiojimo dykumoje, Clemas atsigulė po juodu kaip rašalas dangumi, nusėtu daugiau žvaigždžių, nei jis kada nors buvo suskaičiavęs. Jis bandė užmigti, kai žvaigždės pradėjo judėti – iš pradžių lėtai, kaip žarijos, nešamos vėjo iš gęstančio laužo. Paskui vis greičiau. Jos brėžė linijas tarp savęs. Trikampius. Spirales. Gyvūnus. Skaičius. Formas, kurių pavadinimų jis nežinojo.

„Tikriausiai nuo karščio“, – sumurmėjo jis. Bet vis tiek žiūrėjo.

Formos tapo žodžiais. Ne ištartais – pajustais. Kiekvienas žvaigždynas atrodė turintis prasmę, svorį, istoriją, kabančią ant jo kaip ieškomo asmens plakatas ant šerifo lentos. Jis ištiesė ranką pieštuko, kad juos užsirašytų, ir tada – nieko.

Jis pabudo kitoje vietoje.

Karalystė tarp žvaigždžių. Taip jie ją vadino.

Tai buvo plati ir tyli teritorija, kur dangus buvo žemė, o žvaigždynai – kaimai: kiekvienas jų buvo žvaigždžių grupė, išsidėsčiusi tam tikra forma, ir kiekviena forma turėjo pavadinimą, laukiantį, kol bus suderintas su savo istorija. Šios karalystės gyventojai, Žvaigždžių Metraštininkai, šimtmečius vedė kruopščius įrašus: dienoraščius, eilėraščius, kelionių žurnalus, legendas – viską, ką parašė žmonės, žiūrėję į tas pačias žvaigždžių formas iš apačios, iš žemės.

Bet kažkas nutiko ne taip. Didžioji dangiškoji audra – vietiniai ją vadino Išsklaidymu – nuplėšė kiekvieną etiketę nuo kiekvieno žvaigždyno ir išmėtė jas pavėjui. Dabar tūkstančiai tekstų plūduriavo atsieti virš žvaigždžių formų, kurias jie kažkada aprašė, ir Žvaigždžių Metraštininkai nebegalėjo pasakyti, kuri istorija kuriam dangui priklauso.

Clemui buvo įteiktas ženklelis iš žvaigždžių šviesos ir paprastas nurodymas:

„Suderink žodžius atgal su žvaigždėmis, šerife. Kol neatėjo kita audra.“

Užduotis

Jums pateikiamas žvaigždynų rinkinys, kiekvienas aprašytas 2D taškų seka, sudarančia geometrinę formą (pvz., kryžių, spiralę, penkiakampę figūrą, skaitmenis 6, 7, 8, skaitmenų derinius ir t. t.). Jums taip pat pateikiamas didelis galimų teksto fragmentų rinkinys – dienoraščio įrašai, legendos, aprašymai – kiekvienas iš pradžių parašytas apie vieną konkretų žvaigždyną.

Jūsų tikslas – sukurti modelį, galintį teisingai priskirti kiekvieną tekstą iš rinkinio atitinkamam žvaigždynui, remiantis tik semantiniu ir struktūriniu ryšiu tarp koordinačių geometrijos ir teksto turinio.

Duomenų struktūra

Apmokymo rinkinys

train.csv faile yra 300 žvaigždyno ir teksto porų su etiketėmis:

• Kiekvienas žvaigždyno ID pasirodo 40-65 kartus su nedideliais geometriniais variantais (triukšmas, pasukimas, mastelio keitimas).

Testavimo rinkinys

test.csv faile yra 50 žvaigždynų sekų be etikečių (datapointID 1-50):

Kiekvienas datapointID pasirodo 40-65 kartus. Teksto etiketės nepateikiamos.

Galimi tekstai

candidates.csv faile yra 500 teksto fragmentų:

• Tiksliai 50 iš šių 500 tekstų yra teisingi atitikmenys 50-čiai testavimo žvaigždynų.
• Kiti 450 yra klaidinantys variantai.
• Tekstai yra literatūrinio pobūdžio – juose nėra tiesioginio geometrinio žodyno.

Pateikimo formatas

Pateikiamas failas turi būti CSV formato su šiais stulpeliais:

Kiekvienas iš 50 testavimo datapointID turi pasirodyti tiksliai vieną kartą.

Pavyzdys:

1subtaskID,datapointID,answer21,1,4231,2,31741,3,4675...

Vertinimo metrika

Tikslumas (atitinka F1-macro)

Kiekviena prognozė vertinama kaip vienos etiketės klasifikacija tarp 500 galimų teksto ID. Prognozė yra arba teisinga (1), arba neteisinga (0).

Galutinė metrika yra teisingų prognozių skaičius / 50.

Taškų skaičiavimo funkcija

Negalutiniai rezultatai paverčiami konkurso taškais naudojant tiesinę funkciją su minimalia riba:

Trumpai tariant: turite teisingai suderinti bent 15 iš 50 žvaigždynų (tikslumas = 0.30), kad gautumėte taškų, o teisingai suderinus 43 ar daugiau (tikslumas >= 0.85), gaunamas maksimalus balas.

„Žvaigždės nemeluoja. Žvaigžde gali pasitikėti labiau nei žmogumi...“ – Šerifas Clemas Dudley, 1883 m.