Identyfikacja języka tekstu

✍️ Identyfikacja języka tekstu 🌐

W zglobalizowanym świecie wiadomości pochodzą ze wszystkich zakątków świata i mogą być napisane w różnych językach. Aby automatycznie przetwarzać te teksty (na przykład w automatycznych aplikacjach tłumaczących) konieczne jest, abyśmy mogli zidentyfikować język każdego tekstu.

Twoim zadaniem jest opracowanie automatycznego systemu zdolnego do określenia języka tekstu, zaczynając od wytrenowania modelu na podstawie zestawu oznaczonych przykładów.

🌍 Możliwe języki

System automatyczny musi działać dla następujących języków:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Zestaw danych

Masz do dyspozycji dwa pliki CSV:

• train.csv - zawiera teksty i ich języki
• test.csv - zawiera teksty, dla których model musi przewidzieć język

Każdy wiersz w train.csv ma następujące kolumny:

• SampleID - unikalny identyfikator tekstu
• Text - oryginalny tekst
• language - język tekstu

Przykład:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Każdy wiersz w test.csv ma następujące kolumny:

• SampleID - unikalny identyfikator tekstu
• Text - tekst, dla którego należy przewidzieć język

Przykład:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Zadanie (100 punktów)

Zbuduj system, który może zidentyfikować język tekstu dla tekstów z test.csv.

Przewidywania muszą być zapisane w pliku submission.csv w formacie:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

gdzie:

• SampleID - unikalny identyfikator tekstu z test.csv
• language - język przewidziany przez twój system, który musi być jednym z możliwych języków z następującej listy:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Ocena

Przewidywania będą porównane z rzeczywistymi językami i zostanie obliczona dokładność:

1accuracy = (liczba_poprawnych_przewidywań / całkowita_liczba_przewidywań)

Końcowy wynik jest obliczany na podstawie uzyskanej dokładności przy użyciu następujących zasad:

• accuracy ≥ 0.98 → 100 punktów
• accuracy ≤ 0.9 → 0 punktów
• Dla wartości pośrednich przyznawane są punkty proporcjonalnie między 0 a 100.