Identifikácia jazyka textu

✍️ Identifikácia jazyka textu 🌐

V globalizovanom svete prichádzajú správy zo všetkých kútov sveta a môžu byť napísané v rôznych jazykoch. Pre automatické spracovanie týchto textov (napríklad v automatických prekladových aplikáciách) je nevyhnutné, aby sme dokázali identifikovať jazyk každého textu.

Tvojou úlohou je vyvinúť automatický systém schopný určiť jazyk textu na základe trénovania modelu pomocou sady označených príkladov.

🌍 Možné jazyky

Automatický systém musí fungovať pre nasledujúce jazyky:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Súbor dát

Máš k dispozícii dva CSV súbory:

• train.csv - obsahuje texty a ich jazyky
• test.csv - obsahuje texty, pre ktoré musí model predpovedať jazyk

Každý riadok v train.csv má nasledujúce stľpce:

• SampleID - jedinečný identifikátor textu
• Text - pôvodný text
• language - jazyk textu

Príklad:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Každý riadok v test.csv má nasledujúce stľpce:

• SampleID - jedinečný identifikátor textu
• Text - text, pre ktorý treba predpovedať jazyk

Príklad:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Úloha (100 bodov)

Zostav systém, ktorý dokáže identifikovať jazyk textu pre texty z test.csv.

Predpovede musia byť uložené v súbore submission.csv s formátom:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

kde:

• SampleID - jedinečný identifikátor textu z test.csv
• language - jazyk predpovedaný tvojím systémom, ktorý musí byť jedným z možných jazykov zo zoznamu:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Hodnotenie

Predpovede budú porovnané so skutočnými jazykmi a vypočíta sa presnosť:

1accuracy = (počet_správnych_predpovedí / celkový_počet_predpovedí)

Finálne skóre sa vypočíta na základe dosiahnutej presnosti pomocou nasledujúcich pravidiel:

• accuracy ≥ 0.98 → 100 bodov
• accuracy ≤ 0.9 → 0 bodov
• Pre medzilehlé hodnoty sa udeľuje skóre proporcionálne medzi 0 a 100.