Identifisering av språket til en tekst

✍️ Identifisering av språk i en tekst 🌐

I en globalisert verden kommer meldinger fra alle verdenshjørner og kan være skrevet på forskjellige språk. For å automatisk behandle disse tekstene (for eksempel i automatiske oversettelsesapplikasjoner) er det essensielt at vi kan identifisere språket til hver tekst.

Din rolle er å utvikle et automatisk system som kan bestemme språket til en tekst, basert på trening av en modell ved hjelp av et sett med merkede eksempler.

🌍 Mulige språk

Det automatiske systemet må fungere for følgende språk:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Datasettet

Du har tilgang til to CSV-filer:

• train.csv - inneholder tekster og deres språk
• test.csv - inneholder tekster som modellen må forutsi språket for

Hver rad i train.csv har følgende kolonner:

• SampleID - unik identifikator for teksten
• Text - den originale teksten
• language - tekstens språk

Eksempel:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Hver rad i test.csv har følgende kolonner:

• SampleID - unik identifikator for teksten
• Text - teksten som språket må forutsies for

Eksempel:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Oppgave (100 poeng)

Bygg et system som kan identifisere tekstens språk for tekstene i test.csv.

Forutsigelsene må lagres i en fil submission.csv med formatet:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

hvor:

• SampleID - unik identifikator for teksten fra test.csv
• language - språket forutsagt av systemet ditt, som må være ett av de mulige språkene fra følgende liste:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Evaluering

Forutsigelsene vil bli sammenlignet med de faktiske språkene og nøyaktigheten vil bli beregnet:

1accuracy = (antall_korrekte_forutsigelser / totalt_antall_forutsigelser)

Den endelige poengsummen beregnes basert på oppnådd nøyaktighet ved hjelp av følgende regler:

• accuracy ≥ 0.98 → 100 poeng
• accuracy ≤ 0.9 → 0 poeng
• For mellomverdier tildeles poengsum proporsjonalt mellom 0 og 100.