Оракулът на текстовото сходство

📚 Оракулът на сходството 🔮

В Библиотеката на Великото Царство архивистите се сблъскват с все по-трудна задача:
хиляди ръкописи, пергаменти и стари хроники трябва да бъдат организирани, сравнени и индексирани.

За да им помогнат, предците са създали легендарен механизъм: Оракулът на сходството. Това е
устройство, способно да установи с забележителна точност колко сходни
са два текстови фрагмента, връщайки резултат между 0 и 5.

Но механизмът се е влошил с времето и Великият съвет на архивистите е решил, че е необходима
модерна версия, построена с използване на машинно обучение.

За това са ви предоставени два файла:

• train.csv - пергаментите, анотирани ръчно от писци
• test.csv - нови двойки, които трябва да бъдат анализирани от вашето решение

Вашата задача е да възстановите Оракула чрез серия от анализи и финален предиктивен модел.

📊 Множеството данни

Всеки ред от файловете train.csv и test.csv представлява двойка изречения:

• sampleID – уникален идентификатор на двойката
• sentence1 – първият текст
• sentence2 – вторият текст
• score – само в train.csv, реална стойност между 0 и 5, която показва сходството

Крайната цел е да предскажете score за всеки ред от test.csv.

📝 Задачи

За първите подзадачи трябва да анализирате данните, предоставени в train.csv и test.csv
и да извлечете различна релевантна информация за изреченията от теста.

Подзадача 1 (10 точки)

Изчислете дължината на всяко изречение (sentence1 и sentence2) за всеки ред от тестовото множество
и етикетирайте двойката според средната дължина:

• Short ако средната < 50
• Medium ако 50 ≤ средната < 100
• Long ако средната ≥ 100

Подзадача 2 (15 точки)

За всеки ред от test, изчислете броя думи от всяко изречение (sentence1 и sentence2) и определете общия брой според формулата:

1общ_брой = бр_думи(sentence1) + бр_думи(sentence2)

Подзадача 3 (15 точки)

Установете абсолютната разлика между дължината на sentence1 и дължината на sentence2
за всеки ред от test.

С други думи, за всеки ред трябва да изчислим:

1|бр_символи(sentence1) - бр_символи(sentence2)|

Подзадача 4 (60 точки)

Построете модел за машинно обучение, способен да предскаже числовата стойност score
за всеки ред от test.csv.

Финалната оценка ще се направи с използване на MAE (Mean Absolute Error), изчислен така:

🧮 Оценяване

Метриката за Подзадача 4 е:

• MAE (Mean Absolute Error) (колкото по-малка е стойността, толкова повече точки ще получите).
• Ако моделът получи MAE ≤ 0.65, решението получава 60 точки.
• Ако моделът получи MAE ≥ 2.0, решението получава 0 точки.
• За междинни стойности на MAE точките се изчисляват пропорционално.

За подзадачи 1-3 отговорите се оценяват точно.

📌 Бележки

• Обработки като токенизация, embeddings, предварително обучени модели са разрешени.

📄 Формат на файла за подаване

Файлът submission.csv трябва да съдържа по 4 реда за всеки ред от test,
съответстващи на 4-те подзадачи.

Структура:

1subtaskID datapointID answer

Значение на колоните:

• subtaskID – число между 1 и 4

• datapointID – sampleID от test

• answer – резултатът:

  • Подзадача 1: Short / Medium / Long
  • Подзадача 2: цяло число
  • Подзадача 3: цяло число
  • Подзадача 4: реална стойност (предсказан резултат)

Пример за sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Успех! Великият съвет на архивистите полага надеждите си във вас за възраждането на Оракула на сходството! 🧙‍♂️