Identifikacija jezika teksta

✍️ Prepoznavanje jezika teksta 🌐

U globaliziranom svijetu, poruke dolaze iz svih krajeva svijeta i mogu biti napisane na različitim jezicima. Za automatsku obradu ovih tekstova (na primjer, u automatskim aplikacijama za prevođenje) ključno je da možemo identificirati jezik svakog teksta.

Tvoja uloga je da razviješ automatski sistem sposoban da odredi jezik teksta, počevši od treniranja modela na osnovu skupa označenih primjera.

🌍 Mogući jezici

Automatski sistem mora da funkcioniše za sljedeće jezike:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Skup podataka

Na raspolaganju imaš dvije CSV datoteke:

• train.csv - sadrži tekstove i njihove jezike
• test.csv - sadrži tekstove za koje model treba da predvidi jezik

Svaki red iz train.csv ima sljedeće kolone:

• SampleID - jedinstveni identifikator teksta
• Text - originalni tekst
• language - jezik teksta

Primjer:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Svaki red iz test.csv ima sljedeće kolone:

• SampleID - jedinstveni identifikator teksta
• Text - tekst za koji treba predvidjeti jezik

Primjer:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Zadatak (100 bodova)

Konstruiraj sistem koji može identificirati jezik teksta za tekstove iz test.csv.

Predviđanja treba sačuvati u datoteku submission.csv sa formatom:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

gdje:

• SampleID - jedinstveni identifikator teksta iz test.csv
• language - jezik predviđen od strane tvog sistema, koji mora biti jedan od mogućih jezika iz sljedeće liste:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Evaluacija

Predviđanja će biti poređena sa stvarnim jezicima i izračunat će se točnost:

1accuracy = (broj_točnih_predviđanja / ukupan_broj_predviđanja)

Konačni rezultat se računa na osnovu postignute točnosti koristeći sljedeća pravila:

• accuracy ≥ 0.98 → 100 bodova
• accuracy ≤ 0.9 → 0 bodova
• Za međuvrijednosti se dodjeljuje proporcionalni rezultat između 0 i 100.