DialectRO

DialectRO: Румын тілінің диалектілерін жіктеу

Бұл есептің мақсаты — мәтіндерді аймақтық ерекшеліктеріне немесе румын тілінің стандартты формасына сәйкес анықтау және жіктеу. Деректер жиынтығы әртүрлі аймақтардан жиналған мәтін үзінділерінен тұрады.

Ескерту: label (Диалект) бағаны тек жаттықтыру деректерінде (train.csv) қолжетімді. Мүмкін болатын үш класс: româna standard (стандартты румын), graiul moldovenesc (молдаван диалектісі) және graiul bănățean (банат диалектісі).

Тапсырмалар

1-тапсырма (5 ұпай)

Мәтіндердің бір бөлігі Ион Крянгэнің «Cinci pâini» шығармасынан алынған. train.csv және test.csv файлдарындағы «pâni» сөзінің («pâini» сөзінің архаикалық түрі) жалпы кездесу санын есептеңіз.

2-тапсырма (10 ұпай)

train.csv файлында graiul moldovenesc және graiul bănățean мәтіндері үшін тыныс белгілері санының орташа мәнін есептеңіз. Осы екі мән арасындағы айырмашылықтың абсолюттік мәнін (модулін) 2 ондық таңбаға дейін дөңгелектеп қайтарыңыз.

3-тапсырма (10 ұпай)

test.csv файлындағы әрбір жол үшін мәтіндегі диакритикалық таңбалар санын есептеңіз. Диакритикалық таңбалар ретінде келесі таңбалар есептеледі: ă, â, î, ș, ț (және олардың бас әріптері Ă, Â, Î, Ș, Ț).

4-тапсырма (75 ұпай)

Тест файлындағы мәтіндерді 3 кластың біріне дұрыс жіктей алатын модель құрастырыңыз.

Бағалау

1 және 2-тапсырмалар

Бағалау жауапты дәл тексеру арқылы жүзеге асырылады. Дұрыс жауап = максималды ұпай, қате жауап = 0 ұпай.

3-тапсырма

Бағалау accuracy (дәлдік) — жалпы жауаптардың ішіндегі дұрыс жауаптардың үлесі арқылы жүргізіледі. Ұпай пропорционалды түрде беріледі: accuracy 1.0 = 10 ұпай, accuracy 0.0 = 0 ұпай.

4-тапсырма

Бағалау F1-Macro метрикасы арқылы жүргізіледі.

• Егер F1 >= 0.975 болса: 75 ұпай беріледі
• Егер F1 < 0.8 болса: 0 ұпай беріледі
• 0.8 бен 0.975 арасындағы мәндер үшін ұпай 0 мен 75 арасында пропорционалды түрде есептеледі.

Жіберу файлының форматы

Жіберілетін файл келесі бағандардан тұратын CSV форматында болуы керек:

• subtaskID: тапсырманың нөмірі (1, 2, 3 немесе 4).
• datapointID:
  • 1 және 2-тапсырмалар үшін мәні 1 болады.
  • 3 және 4-тапсырмалар үшін test.csv файлындағы ID бағанының мәндері болады.
• answer: сіздің жауабыңыз.

Мысал

1subtaskID,datapointID,answer21,1,3232,1,5.0743,101,253,102,463,103,27...84,101,româna standard94,102,graiul moldovenesc104,103,graiul bănățean11...

Ескерту: Бұл есепті шешу үшін Transformer типті архитектураларды (мысалы: RoBERTa) пайдалану міндетті емес.