DialectRO

DialectRO: Rumunų kalbos dialektų klasifikavimas

Šios užduoties tikslas – atpažinti ir klasifikuoti tekstus pagal regioninius ypatumus arba standartinę rumunų kalbos formą. Duomenų rinkinį sudaro tekstų fragmentai, surinkti iš įvairių regionų.

Pastaba: Stulpelis label (Dialektas) pateikiamas tik mokymo duomenyse (train.csv). Galimos trys klasės: româna standard (standartinė rumunų k.), graiul moldovenesc (moldavų tarmė) ir graiul bănățean (Banato tarmė).

Užduotys (Subtasks)

1 užduotis (5 taškai)

Dalis tekstų buvo paimti iš Ion Creangă kūrinio „Cinci pâini“. Suskaičiuokite bendrą žodžio „pâni“ (archyvinė žodžio „pâini“ forma) pasirodymų skaičių failuose train.csv ir test.csv.

2 užduotis (10 taškų)

Faile train.csv apskaičiuokite skyrybos ženklų skaičiaus vidurkį tekstams, parašytiems graiul moldovenesc ir graiul bănățean. Pateikite absoliučiąją vertę (modulį) skirtumo tarp šių dviejų reikšmių, suapvalintą iki 2 skaitmenų po kablelio.

3 užduotis (10 taškų)

Kiekvienai test.csv eilutei suskaičiuokite diakritinių ženklų skaičių tekste. Diakritiniais ženklais laikomi šie simboliai: ă, â, î, ș, ț (ir jų didžiosios versijos Ă, Â, Î, Ș, Ț).

4 užduotis (75 taškai)

Sukurkite modelį, gebantį teisingai klasifikuoti testinio failo tekstus į vieną iš 3 klasių.

Vertinimas

1 ir 2 užduotys

Vertinama pagal tikslų atsakymą. Teisingas atsakymas = maksimalus taškų skaičius, neteisingas atsakymas = 0 taškų.

3 užduotis

Vertinama pagal accuracy (tikslumą) — teisingų atsakymų dalį nuo visų atsakymų. Taškai skiriami proporcingai: accuracy 1.0 = 10 taškų, accuracy 0.0 = 0 taškų.

4 užduotis

Vertinama naudojant F1-Macro metriką.

• Jei F1 >= 0.975 : skiriama 75 taškai
• Jei F1 < 0.8 : skiriama 0 taškų
• Reikšmėms tarp 0.8 ir 0.975, taškai skaičiuojami proporcingai nuo 0 iki 75.

Pateikiamo failo formatas

Pateikiamas failas turi būti CSV formato, jį turi sudaryti šie stulpeliai:

• subtaskID: užduoties numeris (1, 2, 3 arba 4).
• datapointID:
  • 1 ir 2 užduotims reikšmė bus 1.
  • 3 ir 4 užduotims tai bus reikšmės iš test.csv stulpelio ID.
• answer: jūsų atsakymas.

Pavyzdys

1subtaskID,datapointID,answer21,1,3232,1,5.0743,101,253,102,463,103,27...84,101,româna standard94,102,graiul moldovenesc104,103,graiul bănățean11...

Pastaba: Šios užduoties sprendimui nebūtina naudoti Transformer tipo architektūrų (pvz., RoBERTa).