Identifikacija jezika teksta

✍️ Identifikacija jezika teksta 🌐

U globalizovanom svetu, poruke dolaze iz svih krajeva sveta i mogu biti napisane na različitim jezicima. Da bi se automatski obradili ovi tekstovi (na primer, u automatskim aplikacijama za prevođenje) neophodno je da možemo identifikovati jezik svakog teksta.

Tvoja uloga je da razviješ automatski sistem sposoban da odredi jezik teksta, polazeći od treniranja modela na osnovu skupa označenih primera.

🌍 Mogući jezici

Automatski sistem treba da funkcioniše za sledeće jezike:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Skup podataka

Na raspolaganju imaš dva CSV fajla:

• train.csv - sadrži tekstove i njihove jezike
• test.csv - sadrži tekstove za koje model treba da predvidi jezik

Svaki red iz train.csv ima sledeće kolone:

• SampleID - jedinstveni identifikator teksta
• Text - originalni tekst
• language - jezik teksta

Primer:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Svaki red iz test.csv ima sledeće kolone:

• SampleID - jedinstveni identifikator teksta
• Text - tekst za koji treba predvideti jezik

Primer:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Task (100 poena)

Konstruiši sistem koji može identifikovati jezik teksta za tekstove iz test.csv.

Predviđanja treba sačuvati u fajl submission.csv sa formatom:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

gde:

• SampleID - jedinstveni identifikator teksta iz test.csv
• language - jezik predviđen od strane tvog sistema, koji mora biti jedan od mogućih jezika iz sledeće liste:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Evaluacija

Predviđanja će biti poređena sa stvarnim jezicima i izračunaće se tačnost:

1accuracy = (broj_tačnih_predviđanja / ukupan_broj_predviđanja)

Finalni rezultat se računa na osnovu postignute tačnosti koristeći sledeća pravila:

• accuracy ≥ 0.98 → 100 poena
• accuracy ≤ 0.9 → 0 poena
• Za međuvrednosti se dodeljuje proporcionalni rezultat između 0 i 100.