Оракул текстової подібності

📚 Оракул подібності 🔮

У Бібліотеці Великого Королівства архіваріуси стикаються з дедалі складнішим завданням:
тисячі рукописів, пергаментів і старих хронік потрібно організувати, порівняти та проіндексувати.

Щоб допомогти їм, предки створили легендарний механізм: Оракул подібності. Це
пристрій, здатний встановлювати з надзвичайною точністю, наскільки схожі
два фрагменти тексту, повертаючи оцінку від 0 до 5.

Але механізм з часом деградував, і Велика Рада Архіваріусів вирішила, що потрібна
сучасна версія, побудована з використанням машинного навчання.

Для цього тобі надано два файли:

• train.csv - пергаменти, анотовані вручну писарями
• test.csv - нові пари, які потрібно проаналізувати твоїм рішенням

Твоє завдання - відновити Оракул через серію аналізів і фінальну предиктивну модель.

📊 Набір даних

Кожен рядок у файлах train.csv і test.csv представляє пару речень:

• sampleID – унікальний ідентифікатор пари
• sentence1 – перший текст
• sentence2 – другий текст
• score – тільки в train.csv, дійсне значення від 0 до 5, що вказує на подібність

Кінцева мета - передбачити score для кожного рядка з test.csv.

📝 Завдання

Для перших підзавдань потрібно проаналізувати дані, надані в train.csv і test.csv
і витягти різну релевантну інформацію про речення з тесту.

Підзавдання 1 (10 балів)

Обчисліть довжину кожного речення (sentence1 і sentence2) для кожного рядка з тестового набору
і позначте пару залежно від середньої довжини:

• Short якщо середнє < 50
• Medium якщо 50 ≤ середнє < 100
• Long якщо середнє ≥ 100

Підзавдання 2 (15 балів)

Для кожного рядка з тесту обчисліть кількість слів у кожному реченні (sentence1 і sentence2) і визначте загальну кількість за формулою:

1загальна_кількість = кількість_слів(sentence1) + кількість_слів(sentence2)

Підзавдання 3 (15 балів)

Встановіть абсолютну різницю між довжиною sentence1 і довжиною sentence2
для кожного рядка з тесту.

Іншими словами, для кожного рядка потрібно обчислити:

1|кількість_символів(sentence1) - кількість_символів(sentence2)|

Підзавдання 4 (60 балів)

Побудуйте модель машинного навчання, здатну передбачити числове значення score
для кожного рядка з test.csv.

Фінальне оцінювання буде проводитися з використанням MAE (Mean Absolute Error), обчисленого так:

🧮 Оцінювання

Метрика для Підзавдання 4:

• MAE (Mean Absolute Error) (чим менше значення, тим більше балів буде отримано).
• Якщо модель отримує MAE ≤ 0.65, рішення отримує 60 балів.
• Якщо модель отримує MAE ≥ 2.0, рішення отримує 0 балів.
• Для проміжних значень MAE бали обчислюються пропорційно.

Для підзавдань 1-3 відповіді оцінюються точно.

📌 Примітки

• Обробка, така як токенізація, ембедінги, попередньо навчені моделі дозволена.

📄 Формат файлу подання

Файл submission.csv повинен містити 4 рядки для кожного рядка з тесту,
що відповідають 4 підзавданням.

Структура:

1subtaskID datapointID answer

Значення стовпців:

• subtaskID – число від 1 до 4

• datapointID – sampleID з тесту

• answer – результат:

  • Підзавдання 1: Short / Medium / Long
  • Підзавдання 2: ціле число
  • Підзавдання 3: ціле число
  • Підзавдання 4: дійсне значення (передбачена оцінка)

Приклад для sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Успіхів! Велика Рада Архіваріусів покладає на вас надії щодо відродження Оракула подібності! 🧙‍♂️