Оракул текстового сходства

📚 Оракул схожести 🔮

В Библиотеке Великого Королевства архивариусы сталкиваются с всё более сложной задачей:
тысячи рукописей, пергаментов и старинных хроник нужно организовать, сравнить и проиндексировать.

Чтобы помочь им, предки создали легендарный механизм: Оракул схожести. Это
устройство, способное определить с замечательной точностью, насколько похожи
два фрагмента текста, возвращая оценку от 0 до 5.

Но механизм со временем деградировал, и Великий Совет Архивариусов решил, что нужна
современная версия, построенная с использованием машинного обучения.

Для этого в ваше распоряжение предоставлены два файла:

• train.csv - пергаменты, аннотированные вручную писцами
• test.csv - новые пары, которые должно проанализировать ваше решение

Ваша задача - восстановить Оракул через серию анализов и финальную предсказательную модель.

📊 Набор данных

Каждая строка в файлах train.csv и test.csv представляет пару предложений:

• sampleID – уникальный идентификатор пары
• sentence1 – первый текст
• sentence2 – второй текст
• score – только в train.csv, вещественное значение от 0 до 5, указывающее схожесть

Конечная цель - предсказать score для каждой строки из test.csv.

📝 Задачи

Для первых подзадач нужно проанализировать данные, предоставленные в train.csv и test.csv,
и извлечь различную релевантную информацию о предложениях из теста.

Подзадача 1 (10 баллов)

Вычислите длину каждого предложения (sentence1 и sentence2) для каждой строки из тестового набора
и пометьте пару в зависимости от средней длины:

• Short если среднее < 50
• Medium если 50 ≤ среднее < 100
• Long если среднее ≥ 100

Подзадача 2 (15 баллов)

Для каждой строки из test вычислите количество слов в каждом предложении (sentence1 и sentence2) и определите общее количество по формуле:

1общее_количество = кол_слов(sentence1) + кол_слов(sentence2)

Подзадача 3 (15 баллов)

Определите абсолютную разность между длиной sentence1 и длиной sentence2
для каждой строки из test.

Другими словами, для каждой строки нужно вычислить:

1|кол_символов(sentence1) - кол_символов(sentence2)|

Подзадача 4 (60 баллов)

Постройте модель машинного обучения, способную предсказать числовое значение score
для каждой строки из test.csv.

Финальная оценка будет проводиться с использованием MAE (Mean Absolute Error), вычисляемого следующим образом:

🧮 Оценка

Метрика для Подзадачи 4:

• MAE (Mean Absolute Error) (чем меньше значение, тем больше баллов).
• Если модель получает MAE ≤ 0.65, решение получает 60 баллов.
• Если модель получает MAE ≥ 2.0, решение получает 0 баллов.
• Для промежуточных значений MAE баллы вычисляются пропорционально.

Для подзадач 1-3 ответы оцениваются точно.

📌 Примечания

• Обработки типа токенизация, эмбеддинги, предобученные модели разрешены.

📄 Формат файла отправки

Файл submission.csv должен содержать 4 строки для каждой строки из test,
соответствующие 4 подзадачам.

Структура:

1subtaskID datapointID answer

Значение колонок:

• subtaskID – число от 1 до 4

• datapointID – sampleID из test

• answer – результат:

  • Подзадача 1: Short / Medium / Long
  • Подзадача 2: целое число
  • Подзадача 3: целое число
  • Подзадача 4: вещественное значение (предсказанная оценка)

Пример для sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Удачи! Великий Совет Архивариусов возлагает на вас надежды по возрождению Оракула схожести! 🧙‍♂️