Teksta valodas identificēšana

✍️ Teksta valodas identificēšana 🌐

Globalizētā pasaulē ziņojumi nāk no visiem pasaules stūriem un var būt rakstīti dažādās valodās. Lai automātiski apstrādātu šos tekstus (piemēram, automātiskās tulkošanas lietojumprogrammās), ir būtiski spēt identificēt katra teksta valodu.

Tavs uzdevums ir izstrādāt automātisku sistēmu, kas spēj noteikt teksta valodu, balstoties uz modeļa apmācību, izmantojot marķētu piemēru kopu.

🌍 Iespējamās valodas

Automātiskajai sistēmai jādarbojas šādām valodām:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Datu kopa

Tev ir pieejami divi CSV faili:

• train.csv - satur tekstus un to valodas
• test.csv - satur tekstus, kuriem modelim jāprognozē valoda

Katrai rindai train.csv ir šādas kolonnas:

• SampleID - unikālais teksta identifikators
• Text - oriģinālais teksts
• language - teksta valoda

Piemērs:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Katrai rindai test.csv ir šādas kolonnas:

• SampleID - unikālais teksta identifikators
• Text - teksts, kuram jāprognozē valoda

Piemērs:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Uzdevums (100 punkti)

Izveido sistēmu, kas var identificēt teksta valodu tekstiem no test.csv.

Prognozes jāsaglabā failā submission.csv ar formātu:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

kur:

• SampleID - unikālais teksta identifikators no test.csv
• language - tavas sistēmas prognozētā valoda, kurai jābūt vienai no iespējamajām valodām no šāda saraksta:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Novērtēšana

Prognozes tiks salīdzinātas ar īstajām valodām un tiks aprēķināta precizitāte:

1accuracy = (pareizo_prognožu_skaits / kopējais_prognožu_skaits)

Galīgais punktu skaits tiek aprēķināts, balstoties uz iegūto precizitāti, izmantojot šādus noteikumus:

• accuracy ≥ 0.98 → 100 punkti
• accuracy ≤ 0.9 → 0 punkti
• Starplielumiem tiek piešķirts proporcionāls punktu skaits starp 0 un 100.