Prepoznavanje jezika besedila

✍️ Prepoznavanje jezika besedila 🌐

V globaliziranem svetu sporočila prihajajo iz vseh koncev sveta in so lahko napisana v različnih jezikih. Za avtomatsko obdelavo teh besedil (na primer v aplikacijah za avtomatsko prevajanje) je ključno, da lahko prepoznamo jezik vsakega besedila.

Tvoja naloga je razviti avtomatski sistem, ki lahko določi jezik besedila, na podlagi treniranja modela z uporabo označenih primerov.

🌍 Možni jeziki

Avtomatski sistem mora delovati za naslednje jezike:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Nabor podatkov

Na voljo imaš dve CSV datoteki:

• train.csv - vsebuje besedila in njihove jezike
• test.csv - vsebuje besedila, za katera mora model napovedati jezik

Vsaka vrstica v train.csv ima naslednje stolpce:

• SampleID - edinstveni identifikator besedila
• Text - izvirno besedilo
• language - jezik besedila

Primer:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Vsaka vrstica v test.csv ima naslednje stolpce:

• SampleID - edinstveni identifikator besedila
• Text - besedilo, za katerega je treba napovedati jezik

Primer:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Naloga (100 točk)

Zgradi sistem, ki lahko prepozna jezik besedila za besedila iz test.csv.

Napovedi morajo biti shranjene v datoteko submission.csv z obliko:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

kjer:

• SampleID - edinstveni identifikator besedila iz test.csv
• language - jezik, ki ga je napovedal tvoj sistem in mora biti eden izmed možnih jezikov s seznama:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Ocenjevanje

Napovedi bodo primerjane z dejanskimi jeziki in izračunana bo natančnost:

1accuracy = (število_pravilnih_napovedi / skupno_število_napovedi)

Končna ocena se izračuna na podlagi dosežene natančnosti z uporabo naslednjih pravil:

• accuracy ≥ 0.98 → 100 točk
• accuracy ≤ 0.9 → 0 točk
• Za vmesne vrednosti se dodeli sorazmerna ocena med 0 in 100.