Identifikace jazyka textu

✍️ Identifikace jazyka textu 🌐

V globalizovaném světě přicházejí zprávy ze všech koutů světa a mohou být napsány v různých jazycích. Pro automatické zpracování těchto textů (například v aplikacích pro automatický překlad) je nezbytné, abychom dokázali identifikovat jazyk každého textu.

Vaším úkolem je vyvinout automatický systém schopný určit jazyk textu na základě trénování modelu pomocí sady označených příkladů.

🌍 Možné jazyky

Automatický systém musí fungovat pro následující jazyky:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Datová sada

Máte k dispozici dva CSV soubory:

• train.csv - obsahuje texty a jejich jazyky
• test.csv - obsahuje texty, pro které musí model předpovědět jazyk

Každý řádek v train.csv má následující sloupce:

• SampleID - jedinečný identifikátor textu
• Text - původní text
• language - jazyk textu

Příklad:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Každý řádek v test.csv má následující sloupce:

• SampleID - jedinečný identifikátor textu
• Text - text, pro který je třeba předpovědět jazyk

Příklad:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Úkol (100 bodů)

Sestavte systém, který dokáže identifikovat jazyk textu pro texty z test.csv.

Předpovědi musí být uloženy v souboru submission.csv s formátem:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

kde:

• SampleID - jedinečný identifikátor textu z test.csv
• language - jazyk předpovězený vaším systémem, který musí být jedním z možných jazyků ze seznamu:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Hodnocení

Předpovědi budou porovnány se skutečnými jazyky a bude vypočítána přesnost:

1accuracy = (počet_správných_předpovědí / celkový_počet_předpovědí)

Konečné skóre je vypočítáno na základě dosažené přesnosti pomocí následujících pravidel:

• accuracy ≥ 0.98 → 100 bodů
• accuracy ≤ 0.9 → 0 bodů
• Pro mezilehlé hodnoty se uděluje skóre úměrně mezi 0 a 100.