Identifiering av språket för en text

✍️ Identifiering av språk i en text 🌐

I en globaliserad värld kommer meddelanden från alla hörn av världen och kan vara skrivna på olika språk. För att automatiskt bearbeta dessa texter (till exempel i automatiska översättningsapplikationer) är det viktigt att vi kan identifiera språket för varje text.

Din roll är att utveckla ett automatiskt system som kan bestämma språket för en text, med utgångspunkt från träning av en modell baserad på en uppsättning märkta exempel.

🌍 Möjliga språk

Det automatiska systemet måste fungera för följande språk:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Datamängden

Du har tillgång till två CSV-filer:

• train.csv - innehåller texter och deras språk
• test.csv - innehåller texter för vilka modellen ska förutsäga språket

Varje rad i train.csv har följande kolumner:

• SampleID - textens unika identifierare
• Text - den ursprungliga texten
• language - textens språk

Exempel:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Varje rad i test.csv har följande kolumner:

• SampleID - textens unika identifierare
• Text - texten för vilken språket ska förutsägas

Exempel:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Task (100 poäng)

Bygg ett system som kan identifiera textens språk för texterna i test.csv.

Förutsägelserna ska sparas i en fil submission.csv med formatet:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

där:

• SampleID - textens unika identifierare från test.csv
• language - språket som förutsägs av ditt system, som måste vara ett av de möjliga språken från följande lista:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Utvärdering

Förutsägelserna kommer att jämföras med de verkliga språken och noggrannheten kommer att beräknas:

1accuracy = (antal_korrekta_förutsägelser / totalt_antal_förutsägelser)

Det slutliga poängtalet beräknas baserat på den uppnådda noggrannheten med följande regler:

• accuracy ≥ 0.98 → 100 poäng
• accuracy ≤ 0.9 → 0 poäng
• För mellanliggande värden tilldelas poäng proportionellt mellan 0 och 100.