Ідентифікація мови тексту

✍️ Ідентифікація мови тексту 🌐

У глобалізованому світі повідомлення надходять з усіх куточків світу і можуть бути написані різними мовами. Для автоматичної обробки цих текстів (наприклад, у автоматичних додатках перекладу) важливо вміти ідентифікувати мову кожного тексту.

Твоя роль полягає в розробці автоматичної системи, здатної визначити мову тексту, починаючи з навчання моделі на основі набору позначених прикладів.

🌍 Можливі мови

Автоматична система повинна працювати для наступних мов:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Набір даних

У твоєму розпорядженні два CSV файли:

• train.csv - містить тексти та їх мови
• test.csv - містить тексти, для яких модель повинна передбачити мову

Кожен рядок з train.csv має наступні колонки:

• SampleID - унікальний ідентифікатор тексту
• Text - оригінальний текст
• language - мова тексту

Приклад:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Кожен рядок з test.csv має наступні колонки:

• SampleID - унікальний ідентифікатор тексту
• Text - текст, для якого потрібно передбачити мову

Приклад:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Завдання (100 балів)

Побудуй систему, яка може ідентифікувати мову тексту для текстів з test.csv.

Передбачення повинні бути збережені у файлі submission.csv з форматом:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

де:

• SampleID - унікальний ідентифікатор тексту з test.csv
• language - мова, передбачена твоєю системою, яка повинна бути однією з можливих мов зі списку:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Оцінювання

Передбачення будуть порівняні з реальними мовами і буде обчислена точність:

1accuracy = (кількість_правильних_передбачень / загальна_кількість_передбачень)

Фінальний бал обчислюється на основі отриманої точності, використовуючи наступні правила:

• accuracy ≥ 0.98 → 100 балів
• accuracy ≤ 0.9 → 0 балів
• Для проміжних значень нараховується пропорційний бал між 0 і 100.