Мәтіндік ұқсастық болжаушысы

📚 Ұқсастық Оракулы 🔮

Ұлы Патшалықтың Кітапханасында мұрағатшылар барған сайын қиын міндетпен бетпе-бет келуде:
мыңдаған қолжазбалар, пергаменттер мен ескі жылнамаларды ұйымдастыру, салыстыру және индекстеу керек.

Оларға көмектесу үшін ата-бабалар аңызға айналған механизм жасаған: Ұқсастық Оракулы. Бұл
екі мәтін фрагментінің қаншалықты ұқсас екенін керемет дәлдікпен анықтай алатын құрылғы,
0 мен 5 арасындағы ұпай қайтарады.

Бірақ механизм уақыт өте келе бұзылды, ал Мұрағатшылардың Ұлы Кеңесі машиналық үйренуді
пайдаланып жасалған заманауи нұсқа қажет деп шешті.

Ол үшін саған екі файл берілді:

• train.csv - жазушылар қолмен белгілеген пергаменттер
• test.csv - сенің шешімің талдауы керек жаңа жұптар

Сенің міндетің Оракулды талдаулар сериясы мен соңғы болжамды модель арқылы қайта құру.

📊 Деректер жиынтығы

train.csv және test.csv файлдарының әрбір жолы сөйлем жұбын білдіреді:

• sampleID – жұптың бірегей идентификаторы
• sentence1 – бірінші мәтін
• sentence2 – екінші мәтін
• score – тек train.csv-де, ұқсастықты көрсететін 0 мен 5 арасындағы нақты мән

Соңғы мақсат test.csv-дің әрбір жолы үшін score болжау.

📝 Тапсырмалар

Алғашқы ішкі тапсырмалар үшін train.csv және test.csv-де берілген деректерді талдап,
тесттегі сөйлемдер туралы әртүрлі маңызды ақпаратты алу керек.

Ішкі тапсырма 1 (10 ұпай)

Тест жиынтығындағы әрбір жол үшін әрбір сөйлемнің (sentence1 және sentence2) ұзындығын есептеп,
орташа ұзындыққа қарай жұпты белгілеңіз:

• Short егер орташа < 50
• Medium егер 50 ≤ орташа < 100
• Long егер орташа ≥ 100

Ішкі тапсырма 2 (15 ұпай)

Тесттегі әрбір жол үшін әрбір сөйлемдегі (sentence1 және sentence2) сөздер санын есептеп, жалпы санды мына формула бойынша анықтаңыз:

1жалпы_сан = сөз_саны(sentence1) + сөз_саны(sentence2)

Ішкі тапсырма 3 (15 ұпай)

Тесттегі әрбір жол үшін sentence1 мен sentence2 ұзындығының арасындағы
абсолютті айырмашылықты анықтаңыз.

Басқаша айтқанда, әрбір жол үшін мынаны есептеу керек:

1|таңба_саны(sentence1) - таңба_саны(sentence2)|

Ішкі тапсырма 4 (60 ұпай)

test.csv-дің әрбір жолы үшін сандық score мәнін болжай алатын
машиналық үйрену моделін құрыңыз.

Соңғы бағалау MAE (Mean Absolute Error) пайдаланып жүргізіледі, мына түрде есептеледі:

🧮 Бағалау

Ішкі тапсырма 4 үшін метрика:

• MAE (Mean Absolute Error) (мән неғұрлым кіші болса, ұпай саны соғұрлым көп болады).
• Егер модель MAE ≤ 0.65 алса, шешім 60 ұпай алады.
• Егер модель MAE ≥ 2.0 алса, шешім 0 ұпай алады.
• MAE-дің аралық мәндері үшін ұпай пропорционалды есептеледі.

1-3 ішкі тапсырмалар үшін жауаптар дәл бағаланады.

📌 Ескертулер

• Токенизация, embeddings, алдын ала дайындалған модельдер сияқты өңдеулерге рұқсат етіледі.

📄 Тапсыру файлының форматы

submission.csv файлы тесттің әрбір жолы үшін 4 жолдан тұруы керек,
4 ішкі тапсырмаға сәйкес келеді.

Құрылымы:

1subtaskID datapointID answer

Бағандардың мағынасы:

• subtaskID – 1 мен 4 арасындағы сан

• datapointID – тесттегі sampleID

• answer – нәтиже:

  • Ішкі тапсырма 1: Short / Medium / Long
  • Ішкі тапсырма 2: бүтін сан
  • Ішкі тапсырма 3: бүтін сан
  • Ішкі тапсырма 4: нақты мән (болжанған ұпай)

sampleID = 1714 үшін мысал:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Сәттілік! Мұрағатшылардың Ұлы Кеңесі Ұқсастық Оракулын қайта жандандыру үшін сендерге үміт артады! 🧙‍♂️