Identifikation af sproget i en tekst

✍️ Identifikation af sproget i en tekst 🌐

I en globaliseret verden kommer beskeder fra alle verdenshjørner og kan være skrevet på forskellige sprog. For automatisk at behandle disse tekster (f.eks. i automatiske oversættelsesapplikationer) er det essentielt, at vi kan identificere sproget for hver tekst.

Din rolle er at udvikle et automatisk system, der kan bestemme sproget i en tekst, baseret på træning af en model ud fra et sæt mærkede eksempler.

🌍 Mulige sprog

Det automatiske system skal fungere for følgende sprog:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Datasættet

Du har to CSV-filer til rådighed:

• train.csv - indeholder tekster og deres sprog
• test.csv - indeholder tekster, som modellen skal forudsige sproget for

Hver række i train.csv har følgende kolonner:

• SampleID - tekstens unikke identifikator
• Text - den originale tekst
• language - tekstens sprog

Eksempel:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Hver række i test.csv har følgende kolonner:

• SampleID - tekstens unikke identifikator
• Text - teksten, som sproget skal forudsiges for

Eksempel:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Opgave (100 point)

Byg et system, der kan identificere tekstens sprog for teksterne i test.csv.

Forudsigelserne skal gemmes i en fil submission.csv med formatet:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

hvor:

• SampleID - tekstens unikke identifikator fra test.csv
• language - sproget forudsagt af dit system, som skal være et af de mulige sprog fra følgende liste:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Evaluering

Forudsigelserne vil blive sammenlignet med de faktiske sprog, og nøjagtigheden vil blive beregnet:

1accuracy = (antal_korrekte_forudsigelser / samlet_antal_forudsigelser)

Den endelige score beregnes baseret på den opnåede nøjagtighed ved hjælp af følgende regler:

• accuracy ≥ 0.98 → 100 point
• accuracy ≤ 0.9 → 0 point
• For mellemværdier tildeles proportional score mellem 0 og 100.