Az alvó seriff csillagképei

Az alvó seriff csillagképei

Egy kihívás a Vadnyugatról

Megjegyzés

Kifejezetten használhatók előre betanított nyelvmodellek (pl. BERT, RoBERTa, sentence-transformers) betöltött súlyokkal. A GPU gyorsítás a tanításhoz és az inferenciához teljes mértékben megengedett. A TF-IDF alapú klasszikus NLP pipeline-ok szintén megengedettek és javasoltak.

A történet

Valahol Új-Mexikó száraz síkságain, 1883-ban.

Az öreg Clem Dudley seriffnek volt egy szokása, amit egyetlen helyettese sem értett: minden este, bármilyen hosszú is volt a nap, a kalapját a nyeregre tette, lefeküdt a takarójára, és egyenesen felnézett az égre.

„A csillagok nem hazudnak” – szokta mondani. „Bármelyik szökevény, bármelyik csavargó, bármelyik becsületes ember – mind ugyanazt az eget nézi.”

Egy augusztusi éjszakán, kimerülten a Vega-banda háromnapos sivatagi üldözése után, Clem lefeküdt a tintafekete ég alá, amelyen több csillag ragyogott, mint amennyit valaha is megszámolt. Épp elaludni készült, amikor a csillagok mozogni kezdtek – először lassan, mint a haldokló tűz szél által hordott parazsa. Aztán egyre gyorsabban. Vonalakat húztak egymás közé. Háromszögeket. Spirálokat. Állatokat. Számokat. Formákat, amiknek nem tudta a nevét.

„Biztos a hőség teszi” – mormogta. De mégis tovább nézte.

A formák szavakká váltak. Nem kimondott, hanem érzett szavakká. Úgy tűnt, minden csillagkép hordoz valamilyen jelentést, súlyt, egy történetet, amely úgy lógott rajta, mint egy körözési plakát a seriff hirdetőtábláján. A ceruzájáért nyúlt, hogy lejegyezze őket, és ekkor – semmi.

Másutt ébredt fel.

A Csillagok Közötti Birodalom. Így hívták ők.

Ez egy hatalmas és csendes terület volt, ahol az ég volt a föld, a csillagképek pedig falvak – mindegyik egy formába rendezett csillagcsoport, és minden forma egy nevet viselt, amely arra várt, hogy párosítsák a történetével. E birodalom lakói, a Csillagírók, évszázadok óta aprólékos feljegyzéseket vezettek: naplókat, verseket, útinaplókat, legendákat – mindet olyan emberek írták, akik lentről, a földről nézték ugyanazokat a csillagformákat.

De valami elromlott. Egy hatalmas égi vihar – a helyiek Szétszóratásnak hívták – letépett minden címkét minden csillagképről, és a szélbe szórta őket. Most szövegek ezrei lebegtek elszakadva azon csillagformák felett, amelyeket egykor leírtak, és a Csillagírók már nem tudták megmondani, melyik történet melyik égbolthoz tartozik.

Clem kezébe egy csillagfényből készült jelvényt és egy egyszerű utasítást adtak:

„Párosítsd vissza a szavakat a csillagokhoz, Seriff. Mielőtt jön a következő vihar.”

A feladat

Adott egy sor csillagkép, mindegyik egy geometriai formát alkotó 2D pontsorozattal leírva (pl. kereszt, spirál, ötszögletű figura, számjegyek mint a 6, 7, 8, számkombinációk stb.). Adott továbbá egy nagy halmaznyi jelölt szövegrészlet – naplóbejegyzések, legendák, leírások –, amelyek mindegyike eredetileg egy-egy konkrét csillagképről íródott.

A célod egy olyan modell felépítése, amely képes helyesen hozzárendelni a halmaz minden szövegéhez a megfelelő csillagképet, kizárólag a koordináták geometriája és a szöveg tartalma közötti szemantikai és strukturális kapcsolatra alapozva.

Adatszerkezet

Tanító készlet

A train.csv 300 felcímkézett csillagkép-szöveg párt tartalmaz:

• Minden csillagkép-azonosító 40-65 alkalommal fordul elő enyhe geometriai variációkkal (zaj, forgatás, skálázás).

Teszt készlet

A test.csv 50 címke nélküli csillagkép-sorozatot tartalmaz (datapointID 1-50):

Minden datapointID 40-65 alkalommal szerepel. Szöveges címkék nincsenek megadva.

Jelölt szövegek

A candidates.csv 500 szövegrészletet tartalmaz:

• Ebből az 500 szövegből pontosan 50 a helyes párosítás az 50 teszt csillagképhez.
• A többi 450 zavaró tényező (distractor).
• A szövegek irodalmi jellegűek – nem szerepel bennük közvetlen geometriai szakszókincs.

Beküldési formátum

A beküldendő fájlnak CSV formátumúnak kell lennie a következő oszlopokkal:

Mind az 50 teszt datapointID-nak pontosan egyszer kell szerepelnie.

Példa:

1subtaskID,datapointID,answer21,1,4231,2,31741,3,4675...

Értékelési metrika

Accuracy (F1-macro-val egyenértékű)

Minden előrejelzést single-label osztályozásként értékelünk az 500 jelölt szöveg-azonosító felett. Az előrejelzés vagy helyes (1), vagy helytelen (0).

A végső metrika: helyes tippek száma / 50.

Pontozási függvény

A nyers pontszámokat egy lineáris függvénnyel alakítjuk át versenypontekké, minimális küszöbérték mellett:

Röviden: legalább 15-öt az 50-ből (accuracy = 0.30) helyesen kell párosítanod, hogy bármilyen pontot kapj, és 43 vagy több (accuracy >= 0.85) helyes párosítás hozza meg a maximális pontszámot.

„A csillagok nem hazudnak. Jobban bízhatsz egy csillagban, mint egy emberben...” – Clem Dudley seriff, 1883