DialectRO

DialectRO: Klasyfikacja Dialektów Języka Rumuńskiego

Celem tego zadania jest identyfikacja i klasyfikacja tekstów na podstawie specyfiki regionalnej lub standardowej formy języka rumuńskiego. Zbiór danych zawiera fragmenty tekstów zebranych z różnych regionów.

Uwaga: Kolumna label (Dialekt) jest dostępna tylko w danych treningowych (train.csv). Trzy możliwe klasy to: româna standard (standardowy rumuński), graiul moldovenesc (gwara mołdawska) i graiul bănățean (gwara banacka).

Podzadania

Podzadanie 1 (5 punktów)

Część tekstów została wyodrębniona z dzieła „Cinci pâini” autorstwa Iona Creangi. Oblicz całkowitą liczbę wystąpień słowa „pâni” (archaiczna forma słowa „pâini”) w plikach train.csv oraz test.csv.

Podzadanie 2 (10 punktów)

W pliku train.csv oblicz średnią liczbę znaków interpunkcyjnych dla tekstów w gwara mołdawska i gwara banacka. Zwróć wartość bezwzględną różnicy między tymi dwiema wartościami, zaokrągloną do 2 miejsc po przecinku.

Podzadanie 3 (10 punktów)

Dla każdego wiersza w test.csv oblicz liczbę znaków diakrytycznych w tekście. Za znaki diakrytyczne uważa się: ă, â, î, ș, ț (oraz ich wielkie litery Ă, Â, Î, Ș, Ț).

Podzadanie 4 (75 punktów)

Zbuduj model zdolny do poprawnej klasyfikacji tekstów z pliku testowego do jednej z 3 klas.

Ewaluacja

Podzadania 1 i 2

Ewaluacja odbywa się poprzez dokładne sprawdzenie odpowiedzi. Poprawna odpowiedź = maksymalna liczba punktów, błędna odpowiedź = 0 punktów.

Podzadanie 3

Ewaluacja odbywa się na podstawie metryki accuracy — proporcji poprawnych odpowiedzi do wszystkich. Punktacja jest proporcjonalna: accuracy 1.0 = 10 punktów, accuracy 0.0 = 0 punktów.

Podzadanie 4

Ewaluacja odbywa się przy użyciu metryki F1-Macro.

• Jeśli F1 >= 0.975: przyznawane jest 75 punktów
• Jeśli F1 < 0.8: przyznawane jest 0 punktów
• Dla wartości między 0.8 a 0.975, punktacja jest obliczana proporcjonalnie między 0 a 75.

Format pliku zgłoszeniowego

Plik zgłoszeniowy musi być w formacie CSV i zawierać następujące kolumny:

• subtaskID: numer podzadania (1, 2, 3 lub 4).
• datapointID:
  • dla podzadań 1 i 2 wartością będzie 1.
  • dla podzadań 3 i 4 będą to wartości z kolumny ID w pliku test.csv.
• answer: Twoja odpowiedź.

Przykład

1subtaskID,datapointID,answer21,1,3232,1,5.0743,101,253,102,463,103,27...84,101,româna standard94,102,graiul moldovenesc104,103,graiul bănățean11...

Uwaga: Rozwiązanie tego problemu nie wymaga użycia architektur typu Transformer (np. RoBERTa).