Определение языка текста

✍️ Определение языка текста 🌐

В глобализированном мире сообщения приходят из всех уголков мира и могут быть написаны на различных языках. Для автоматической обработки этих текстов (например, в автоматических приложениях перевода) крайне важно уметь определять язык каждого текста.

Ваша роль заключается в разработке автоматической системы, способной определить язык текста, начиная с обучения модели на основе набора размеченных примеров.

🌍 Возможные языки

Автоматическая система должна работать для следующих языков:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Набор данных

В вашем распоряжении два CSV файла:

• train.csv - содержит тексты и их языки
• test.csv - содержит тексты, для которых модель должна предсказать язык

Каждая строка в train.csv имеет следующие столбцы:

• SampleID - уникальный идентификатор текста
• Text - исходный текст
• language - язык текста

Пример:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Каждая строка в test.csv имеет следующие столбцы:

• SampleID - уникальный идентификатор текста
• Text - текст, для которого нужно предсказать язык

Пример:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Задача (100 баллов)

Постройте систему, которая может определить язык текста для текстов из test.csv.

Предсказания должны быть сохранены в файле submission.csv с форматом:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

где:

• SampleID - уникальный идентификатор текста из test.csv
• language - язык, предсказанный вашей системой, который должен быть одним из возможных языков из следующего списка:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Оценка

Предсказания будут сравнены с реальными языками и будет вычислена точность:

1accuracy = (количество_правильных_предсказаний / общее_количество_предсказаний)

Итоговый балл рассчитывается на основе полученной точности с использованием следующих правил:

• accuracy ≥ 0.98 → 100 баллов
• accuracy ≤ 0.9 → 0 баллов
• Для промежуточных значений присваивается пропорциональный балл между 0 и 100.