Teksti keele tuvastamine

✍️ Teksti keele tuvastamine 🌐

Globaliseerunud maailmas tulevad sõnumid kõikjalt maailmast ja võivad olla kirjutatud erinevates keeltes. Nende tekstide automaatseks töötlemiseks (näiteks automaattõlke rakendustes) on oluline, et suudaksime tuvastada iga teksti keele.

Sinu roll on arendada automaatne süsteem, mis suudab määrata teksti keele, lähtudes mudeli treenimisest märgistatud näidete kogumi põhjal.

🌍 Võimalikud keeled

Automaatne süsteem peab töötama järgmiste keelte jaoks:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Andmestik

Sul on kasutada kaks CSV faili:

• train.csv - sisaldab tekste ja nende keeli
• test.csv - sisaldab tekste, mille keelt mudel peab ennustama

Iga rida train.csv failis sisaldab järgmisi veerge:

• SampleID - teksti unikaalne identifikaator
• Text - algne tekst
• language - teksti keel

Näide:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Iga rida test.csv failis sisaldab järgmisi veerge:

• SampleID - teksti unikaalne identifikaator
• Text - tekst, mille keel tuleb ennustada

Näide:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Ülesanne (100 punkti)

Ehita süsteem, mis suudab tuvastada teksti keele test.csv tekstide jaoks.

Ennustused tuleb salvestada faili submission.csv järgmises formaadis:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

kus:

• SampleID - teksti unikaalne identifikaator test.csv failist
• language - sinu süsteemi ennustatud keel, mis peab olema üks võimalikest keeltest järgmisest nimekirjast:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Hindamine

Ennustusi võrreldakse tegelike keeltega ja arvutatakse täpsus:

1accuracy = (õigete_ennustuste_arv / ennustuste_koguarv)

Lõplik punktisumma arvutatakse saavutatud täpsuse põhjal järgmiste reeglite abil:

• accuracy ≥ 0.98 → 100 punkti
• accuracy ≤ 0.9 → 0 punkti
• Vahepealsete väärtuste korral antakse proportsionaalne punktisumma 0 ja 100 vahel.