Съзвездията на заспалия шериф

Съзвездията на заспалия шериф

Предизвикателство от Дивия запад

Забележка

Могат да се използват изрично предварително обучени езикови модели (напр. BERT, RoBERTa, sentence-transformers) със заредени тежести. GPU ускорението за обучение и инференция е напълно разрешено. Класическите NLP пайплайни, базирани на TF-IDF, също са разрешени и насърчавани.

Историята

Някъде из сухите равнини на Ню Мексико, 1883 г.

Старият шериф Клем Дъдли имал навик, който нито един негов помощник не разбрал: всяка вечер, без значение колко дълъг е бил денят, той слагал шапката си върху седлото на коня, лягал на одеялото и гледал право нагоре към небето.

„Звездите не лъжат“, обичал да казва той. „Всеки беглец, всеки скитник, всеки честен човек — всички гледат едно и също небе.“

Една августовска нощ, изтощен след три дни преследване на бандата Вега през пустинята, Клем легнал под небе, черно като мастило, осеяно с повече звезди, отколкото някога бил броил. Опитвал се да заспи, когато звездите започнали да се движат — бавно в началото, като жарава, носена от вятъра от гаснещ огън. След това все по-бързо. Чертаели линии помежду си. Триъгълници. Спирали. Животни. Цифри. Форми, чиито имена не знаел.

„Сигурно е от жегата“, измърморил той. Но продължил да гледа.

Формите се превърнали в думи. Не изречени — усетени. Всяко съзвездие сякаш носело значение, тежест, история, закачена за него като обява за издирване на таблото на шерифа. Протегнал ръка за молива си, за да ги запише, и тогава — нищо.

Събудил се на друго място.

Земята между звездите. Така я наричали те.

Това била обширна и тиха територия, където небето било земята, а съзвездията били села — всяко от тях група звезди, подредени във форма, и всяка форма носела име, което чакало да бъде съчетано със своята история. Жителите на тази земя, Звездните писари, водели педантични записи от векове: дневници, стихове, пътеписи, легенди — всички написани от хора, които са гледали същите звездни форми отдолу, от земята.

Но нещо се объркало. Голяма небесна буря — местните я наричали Разпиляването — откъснала всеки етикет от всяко съзвездие и ги разпръснала по вятъра. Сега хиляди текстове се носели несвързани над звездните форми, които някога описвали, и Звездните писари вече не можели да кажат коя история на кое небе принадлежи.

На Клем му била връчена значка от звездна светлина и проста инструкция:

„Върни думите обратно при звездите, шерифе. Преди да дойде следващата буря.“

Задача

Предоставен ви е набор от звездни съзвездия, всяко описано чрез поредица от 2D точки, които образуват геометрична форма (напр. кръст, спирала, петолъчка, цифри като 6, 7, 8, комбинации от цифри и др.). Предоставен ви е и голям набор от кандидат-текстови фрагменти — записки в дневници, легенди, описания — всеки първоначално написан за едно конкретно съзвездие.

Вашата цел е да изградите модел, способен да припише правилно на всеки текст от набора съответното съзвездие, базирайки се изключително на семантичната и структурната връзка между геометрията на координатите и съдържанието на текста.

Структура на данните

Тренировъчен комплект

train.csv съдържа 300 двойки съзвездие-текст с етикети:

• Всяко ID на съзвездие се появява 40-65 пъти с леки геометрични вариации (шум, ротация, мащабиране).

Тестов комплект

test.csv съдържа 50 поредици от съзвездия без етикети (datapointID 1-50):

Всеки datapointID се появява 40-65 пъти. Не са предоставени текстови етикети.

Текстове-кандидати

candidates.csv съдържа 500 текстови фрагмента:

• Точно 50 от тези 500 текста са правилните съответствия за 50-те тестови съзвездия.
• Останалите 450 са подвеждащи.
• Текстовете имат литературен характер — в тях не се появява директна геометрична лексика.

Формат на решението

Файлът с решението трябва да бъде в CSV формат със следните колони:

Всеки от 50-те тестови datapointID трябва да се появява точно веднъж.

Пример:

1subtaskID,datapointID,answer21,1,4231,2,31741,3,4675...

Метрика за оценка

Accuracy (еквивалентно на F1-macro)

Всяко предсказание се оценява като класификация с един етикет върху 500-те кандидат-текстови ID-та. Предсказанието е или правилно (1), или неправилно (0).

Крайната метрика е броят на правилните предсказания / 50.

Функция за точкуване

Суровите резултати се превръщат в точки за състезанието чрез линейна функция с минимален праг:

Накратко: трябва да съпоставите правилно поне 15 от 50 съзвездия (accuracy = 0.30), за да получите каквито и да е точки, а правилното съпоставяне на 43 или повече (accuracy >= 0.85) носи максималния брой точки.

„Звездите не лъжат. Можеш да имаш повече доверие на една звезда, отколкото на човек...“ — Шериф Клем Дъдли, 1883 г.