DialectRO

DialectRO: Romanian kielen murteiden luokittelu

Tämän tehtävän tavoitteena on tunnistaa ja luokitella tekstejä romanian kielen alueellisten erityispiirteiden tai kirjakielen mukaan. Aineisto sisältää tekstikatkelmia, jotka on kerätty eri alueilta.

Huomautus: Sarake label (murre) on saatavilla vain opetusdatassa (train.csv). Kolme mahdollista luokkaa ovat: româna standard (kirjakieli), graiul moldovenesc (Moldovan murre) ja graiul bănățean (Banatin murre).

Alitehtävät

Alitehtävä 1 (5 pistettä)

Osa teksteistä on poimittu Ion Creangăn teoksesta "Cinci pâini". Laske sanan "pâni" (sanan "pâini" arkainen muoto) esiintymien kokonaismäärä tiedostoissa train.csv ja test.csv.

Alitehtävä 2 (10 pistettä)

Tiedostossa train.csv laske välimerkkien määrän keskiarvo Moldovan murteen ja Banatin murteen teksteille. Palauta näiden kahden arvon erotuksen itseisarvo pyöristettynä kahteen desimaaliin.

Alitehtävä 3 (10 pistettä)

Laske jokaiselle test.csv-tiedoston riville tekstissä olevien diakriittisten merkkien määrä. Diakriittisiksi merkeiksi lasketaan: ă, â, î, ș, ț (sekä niiden suuraakkoset Ă, Â, Î, Ș, Ț).

Alitehtävä 4 (75 pistettä)

Luo malli, joka pystyy luokittelemaan testitiedoston tekstit oikein johonkin kolmesta luokasta.

Arviointi

Alitehtävät 1 ja 2

Arviointi perustuu vastauksen tarkkaan tarkistukseen. Oikea vastaus = täydet pisteet, väärä vastaus = 0 pistettä.

Alitehtävä 3

Arviointi perustuu tarkkuuteen (accuracy) — oikeiden vastausten osuus kokonaismäärästä. Pisteytys on suhteellinen: accuracy 1.0 = 10 pistettä, accuracy 0.0 = 0 pistettä.

Alitehtävä 4

Arviointi tehdään käyttämällä F1-Macro -metriikkaa.

• Jos F1 >= 0.975 : myönnetään 75 pistettä
• Jos F1 < 0.8 : myönnetään 0 pistettä
• Arvoille välillä 0.8 ja 0.975, pisteet lasketaan suhteellisesti välillä 0–75.

Palautustiedoston muoto

Palautustiedoston on oltava CSV-muodossa ja se on sisällettävä seuraavat sarakkeet:

• subtaskID: alitehtävän numero (1, 2, 3 tai 4).
• datapointID:
  • alitehtävissä 1 ja 2 arvo on 1.
  • alitehtävissä 3 ja 4 käytetään test.csv-tiedoston ID-sarakkeen arvoja.
• answer: vastauksesi.

Esimerkki

1subtaskID,datapointID,answer21,1,3232,1,5.0743,101,253,102,463,103,27...84,101,româna standard94,102,graiul moldovenesc104,103,graiul bănățean11...

Huomautus: Tämän tehtävän ratkaiseminen ei edellytä Transformer-tyyppisten arkkitehtuurien (esim. RoBERTa) käyttöä.