Ұйқыдағы Шерифтің Шоқжұлдыздары

Ұйқыдағы Шерифтің Шоқжұлдыздары

Жабайы Батыстың сынағы

Ескерту

Салмақтары жүктелген алдын ала дайындалған тілдік модельдерді (мысалы: BERT, RoBERTa, sentence-transformers) тікелей қолдануға болады. Оқыту және болжау үшін GPU жеделдетуге толық рұқсат берілген. TF-IDF негізіндегі классикалық NLP пайплайндарын қолдануға да рұқсат етіледі және құпталады.

Оқиға

Нью-Мексиконың құрғақ жазықтарының бір жерінде, 1883 жыл.

Қарт шериф Клем Дадлидің ешбір көмекшісі түсінбейтін бір әдеті бар еді: күннің қаншалықты ұзақ болғанына қарамастан, ол әр кеш сайын қалпағын аттың еріне қойып, көрпесіне жатып, тікелей аспанға қарайтын.

«Жұлдыздар өтірік айтпайды», — дейтін ол. «Кез келген қашқын, кез келген қаңғыбас, кез келген адал адам — бәрі бір аспанға қарайды».

Тамыздың бір түнінде, шөл далада Вега бандасын үш күн бойы қуалап шаршаған Клем, сиядай қап-қара, бұрын-соңды көрмеген көп жұлдызды аспан астына жайғасты. Ол ұйықтауға тырысқанда, жұлдыздар қозғала бастады — алдымен баяу, сөніп бара жатқан оттың күлі сияқты. Содан кейін тезірек. Олар бір-бірімен сызықтар жүргізді. Үшбұрыштар. Шиыршықтар. Жануарлар. Сандар. Ол атын білмейтін пішіндер.

«Бұл ыстықтан болар», — деп күбірледі ол. Бірақ бәрібір қарап жатты.

Пішіндер сөзге айналды. Айтылған емес — сезілген сөздер. Әрбір шоқжұлдыздың өз мағынасы, салмағы, шерифтің хабарландыру тақтасындағы іздеу салу постері сияқты ілініп тұрған өз тарихы бардай көрінді. Ол оларды жазып алу үшін қарындашқа қолын созғанда — бәрі жоқ болды.

Ол басқа жерде оянды.

Жұлдыздар арасындағы мекен. Олар оны осылай атайтын.

Бұл аспан жер болған, ал шоқжұлдыздар ауыл болған кең әрі тыныш аймақ еді — әрқайсысы белгілі бір пішінде орналасқан жұлдыздар тобы және әр пішіннің өз тарихымен сәйкес келуін күтіп тұрған есімі бар. Бұл мекеннің тұрғындары, Жұлдыз Хатшылары, ғасырлар бойы мұқият жазбалар жүргізген: күнделіктер, өлеңдер, жолжазбалар, аңыздар — мұның бәрін төменнен, жерден сол жұлдыз пішіндеріне қараған адамдар жазған.

Бірақ бірдеңе дұрыс болмады. Үлкен аспан дауылы — жергілікті тұрғындар оны Шашырау деп атайды — әр шоқжұлдыздың белгісін жұлып алып, желге ұшырып жіберді. Енді мыңдаған мәтіндер өздері сипаттаған жұлдыз пішіндерінің үстінде байланыссыз қалқып жүр, ал Жұлдыз Хатшылары қай оқиғаның қай аспанға тиесілі екенін айта алмайды.

Клемге жұлдыз жарығынан жасалған белгі мен қарапайым нұсқаулық берілді:

«Сөздерді жұлдыздармен қайта сәйкестендір, Шериф. Келесі дауыл келгенге дейін».

Тапсырма

Сізге геометриялық пішінді (мысалы: крест, шиыршық, бесбұрышты фигура, 6, 7, 8 сияқты сандар, сандар комбинациясы және т.б.) құрайтын 2D нүктелер тізбегімен сипатталған шоқжұлдыздар жиынтығы беріледі. Сондай-ақ, сізге кандидат мәтіндік үзінділердің — күнделік жазбаларының, аңыздардың, сипаттамалардың — үлкен пулы беріледі, олардың әрқайсысы бастапқыда бір нақты шоқжұлдыз туралы жазылған.

Сіздің мақсатыңыз — координаттар геометриясы мен мәтін мазмұны арасындағы семантикалық және құрылымдық байланысқа сүйене отырып, пулдегі әрбір мәтінге тиісті шоқжұлдызды дұрыс тағайындай алатын модель құру.

Деректер құрылымы

Оқыту жиынтығы

train.csv файлында белгілері бар 300 шоқжұлдыз-мәтін жұбы бар:

• Әрбір шоқжұлдыз ID-і жеңіл геометриялық өзгерістермен (шу, бұрылу, масштабтау) 40-65 рет кездеседі.

Тест жиынтығы

test.csv файлында белгілері жоқ 50 шоқжұлдыз тізбегі бар (datapointID 1-50):

Әрбір datapointID 40-65 рет кездеседі. Мәтіндік белгілер берілмейді.

Кандидат мәтіндер

candidates.csv файлында 500 мәтіндік үзінді бар:

• Осы 500 мәтіннің ішінде дәл 50-і тесттегі 50 шоқжұлдызға сәйкес келеді.
• Қалған 450-і — жалған мәтіндер (distractors).
• Мәтіндер әдеби сипатта — оларда тікелей геометриялық терминдер кездеспейді.

Жіберу форматы

Жіберілетін файл келесі бағандары бар CSV форматында болуы керек:

Тесттегі 50 datapointID-дің әрқайсысы дәл бір рет кездесуі тиіс.

Мысалы:

1subtaskID,datapointID,answer21,1,4231,2,31741,3,4675...

Бағалау метрикасы

Accuracy (F1-macro баламасы)

Әрбір болжам 500 кандидат мәтін ID-і бойынша single-label классификация ретінде бағаланады. Болжам не дұрыс (1), не қате (0) болады.

Қорытынды метрика — дұрыс болжамдар саны / 50.

Ұпай қою функциясы

Шикі ұпайлар минималды шегі бар сызықтық функция арқылы жарыс ұпайларына айналдырылады:

Қысқаша айтқанда: ұпай алу үшін 50 шоқжұлдыздың кем дегенде 15-ін (accuracy = 0.30) дұрыс табу керек, ал 43 немесе одан көп шоқжұлдызды (accuracy >= 0.85) дұрыс табу максималды ұпай береді.

«Жұлдыздар өтірік айтпайды. Адамнан қарағанда жұлдызға көбірек сенуге болады...» — Шериф Клем Дадли, 1883 жыл