Tekstin kielen tunnistaminen

✍️ Tekstin kielen tunnistaminen 🌐

Globalisoituneessa maailmassa viestit tulevat maailman kaikista kolkista ja ne voivat olla kirjoitettu eri kielillä. Näiden tekstien automaattiseen käsittelyyn (esimerkiksi automaattisissa käännössovelluksissa) on olennaista, että pystymme tunnistamaan kunkin tekstin kielen.

Tehtäväsi on kehittää automaattinen järjestelmä, joka pystyy määrittämään tekstin kielen kouluttamalla mallin merkittyjen esimerkkien perusteella.

🌍 Mahdolliset kielet

Automaattisen järjestelmän tulee toimia seuraavilla kielillä:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Tietoaineisto

Käytössäsi on kaksi CSV-tiedostoa:

• train.csv - sisältää tekstejä ja niiden kieliä
• test.csv - sisältää tekstejä, joille mallin tulee ennustaa kieli

Jokainen rivi train.csv-tiedostossa sisältää seuraavat sarakkeet:

• SampleID - tekstin yksilöllinen tunniste
• Text - alkuperäinen teksti
• language - tekstin kieli

Esimerkki:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Jokainen rivi test.csv-tiedostossa sisältää seuraavat sarakkeet:

• SampleID - tekstin yksilöllinen tunniste
• Text - teksti, jolle kieli tulee ennustaa

Esimerkki:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Tehtävä (100 pistettä)

Rakenna järjestelmä, joka pystyy tunnistamaan tekstin kielen test.csv-tiedoston teksteille.

Ennusteet tulee tallentaa submission.csv-tiedostoon muodossa:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

missä:

• SampleID - tekstin yksilöllinen tunniste test.csv-tiedostosta
• language - järjestelmäsi ennustama kieli, jonka tulee olla yksi mahdollisista kielistä seuraavasta listasta:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Arviointi

Ennusteita verrataan todellisiin kieliin ja lasketaan tarkkuus:

1accuracy = (oikeiden_ennusteiden_määrä / ennusteiden_kokonaismäärä)

Lopullinen pistemäärä lasketaan saavutetun tarkkuuden perusteella käyttäen seuraavia sääntöjä:

• accuracy ≥ 0.98 → 100 pistettä
• accuracy ≤ 0.9 → 0 pistettä
• Väliarvoille annetaan suhteellinen pistemäärä 0:n ja 100:n välillä.