Сузір'я Сплячого Шерифа

Сузір'я Сплячого Шерифа

Виклик із Дикого Заходу

Примітка

Можна явно використовувати попередньо навчені мовні моделі (наприклад: BERT, RoBERTa, sentence-transformers) із завантаженими вагами. GPU-прискорення для навчання та інференсу повністю дозволено. Класичні NLP-пайплайни на основі TF-IDF також дозволені та заохочуються.

Історія

Десь на сухих рівнинах Нью-Мексико, 1883 рік.

Старий шериф Клем Дадлі мав звичку, яку не розумів жоден помічник: щовечора, незалежно від того, наскільки довгим був день, він клав капелюх на сідло коня, лягав на ковдру і дивився прямо вгору, на небо.

«Зірки не брешуть», — казав він. «Будь-який утікач, будь-який волоцюга, будь-яка чесна людина — всі дивляться на те саме небо».

Однієї серпневої ночі, виснажений після трьох днів переслідування банди Веги через пустелю, Клем ліг під чорним як чорнило небом, всіяним більшою кількістю зірок, ніж він коли-небудь рахував. Він намагався заснути, коли зірки почали рухатися — спочатку повільно, як іскри, що розносяться вітром від згасаючого багаття. Потім все швидше. Вони малювали лінії між собою. Трикутники. Спіралі. Тварин. Цифри. Форми, назв яких він не знав.

«Мабуть, це через спеку», — пробурмотів він. Але продовжував дивитися.

Форми стали словами. Не вимовленими — відчутими. Кожне сузір'я, здавалося, несло в собі сенс, вагу, історію, що висіла на ньому, як оголошення про розшук на дошці шерифа. Він потягнувся за олівцем, щоб записати їх, і тоді — нічого.

Він прокинувся в іншому місці.

Царство між Зірками. Так вони його називали.

Це була величезна і тиха територія, де небо було землею, а сузір'я були селами — кожне з них було групою зірок, розташованих у певній формі, і кожна форма мала назву, яка чекала на поєднання зі своєю історією. Мешканці цього царства, Зоряні Писарі, століттями вели ретельні записи: щоденники, вірші, дорожні нотатки, легенди — все це було написане людьми, які дивилися на ті самі зоряні форми знизу, з землі.

Але щось пішло не так. Велика небесна буря — місцеві називали її Розсіюванням — зірвала кожну етикетку з кожного сузір'я і розвіяла їх за вітром. Тепер тисячі текстів плавали відірваними над зоряними формами, які вони колись описували, і Зоряні Писарі більше не могли сказати, яка історія належить якому небу.

Клему вручили значок із зоряного світла та просту інструкцію:

«Поверни слова до зірок, Шерифе. Поки не прийшла наступна буря».

Завдання

Вам надається набір сузір'їв, кожне з яких описане послідовністю 2D-точок, що утворюють геометричну фігуру (наприклад: хрест, спіраль, п'ятикутна фігура, цифри 6, 7, 8, комбінації цифр тощо). Вам також надається великий пул текстів-кандидатів — записи в щоденниках, легенди, описи — кожен з яких спочатку був написаний про одне конкретне сузір'я.

Ваша мета — побудувати модель, здатну правильно призначити кожному тексту з пулу відповідне сузір'я, ґрунтуючись виключно на семантичному та структурному зв'язку між геометрією координат та змістом тексту.

Структура даних

Навчальний набір

train.csv містить 300 пар сузір'я-текст із мітками:

• Кожен ID сузір'я з'являється 40-65 разів з невеликими геометричними варіаціями (шум, поворот, масштабування).

Тестовий набір

test.csv містить 50 послідовностей сузір'їв без міток (datapointID 1-50):

Кожен datapointID з'являється 40-65 разів. Текстові мітки не надаються.

Тексти-кандидати

candidates.csv містить 500 текстових фрагментів:

• Рівно 50 із цих 500 текстів є правильними відповідностями для 50 тестових сузір'їв.
• Інші 450 є відволікаючими факторами.
• Тексти мають літературний характер — у них немає прямої геометричної термінології.

Формат подання

Файл подання має бути у форматі CSV з наступними колонками:

Кожен із 50 тестових datapointID має з'явитися рівно один раз.

Приклад:

1subtaskID,datapointID,answer21,1,4231,2,31741,3,4675...

Метрика оцінювання

Accuracy (еквівалент F1-macro)

Кожне передбачення оцінюється як класифікація з однією міткою (single-label) серед 500 ID текстів-кандидатів. Передбачення є або правильним (1), або неправильним (0).

Фінальна метрика — це кількість правильних передбачень / 50.

Функція нарахування балів

Сирі бали конвертуються в бали конкурсу за допомогою лінійної функції з мінімальним порогом:

Коротше кажучи: вам потрібно правильно зіставити щонайменше 15 з 50 сузір'їв (accuracy = 0.30), щоб отримати будь-які бали, а правильне зіставлення 43 або більше (accuracy >= 0.85) приносить максимальний бал.

«Зірки не брешуть. Зірці можна довіряти більше, ніж людині...» — Шериф Клем Дадлі, 1883 рік