Teksto kalbos identifikavimas

✍️ Teksto kalbos identifikavimas 🌐

Globalizuotame pasaulyje žinutės ateina iš visų pasaulio kampelių ir gali būti parašytos įvairiomis kalbomis. Norint automatiškai apdoroti šiuos tekstus (pavyzdžiui, automatinio vertimo programose) būtina sugebėti identifikuoti kiekvieno teksto kalbą.

Jūsų vaidmuo yra sukurti automatinę sistemą, kuri galėtų nustatyti teksto kalbą, pradedant nuo modelio mokymo pagal pažymėtų pavyzdžių rinkinį.

🌍 Galimos kalbos

Automatinė sistema turi veikti šioms kalboms:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Duomenų rinkinys

Jūsų žinioje yra du CSV failai:

• train.csv - sudarytas iš tekstų ir jų kalbų
• test.csv - sudarytas iš tekstų, kuriems modelis turi prognozuoti kalbą

Kiekviena train.csv eilutė turi šiuos stulpelius:

• SampleID - unikalus teksto identifikatorius
• Text - originalus tekstas
• language - teksto kalba

Pavyzdys:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Kiekviena test.csv eilutė turi šiuos stulpelius:

• SampleID - unikalus teksto identifikatorius
• Text - tekstas, kuriam reikia prognozuoti kalbą

Pavyzdys:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Užduotis (100 taškų)

Sukurkite sistemą, kuri gali identifikuoti teksto kalbą tekstams iš test.csv.

Prognozes reikia išsaugoti faile submission.csv tokiu formatu:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

kur:

• SampleID - unikalus teksto identifikatorius iš test.csv
• language - jūsų sistemos prognozuojama kalba, kuri turi būti viena iš galimų kalbų iš šio sąrašo:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Vertinimas

Prognozės bus palygintos su tikrosiomis kalbomis ir bus apskaičiuotas tikslumas:

1accuracy = (teisingų_prognozių_skaičius / bendras_prognozių_skaičius)

Galutinis balas apskaičiuojamas pagal gautą tikslumą naudojant šias taisykles:

• accuracy ≥ 0.98 → 100 taškų
• accuracy ≤ 0.9 → 0 taškų
• Tarpinėms vertėms skiriamas proporcionalus balas nuo 0 iki 100.