Идентифициране на езика на текст

✍️ Идентифициране на езика на текст 🌐

В глобализирания свят съобщенията идват от всички краища на света и могат да бъдат написани на различни езици. За автоматична обработка на тези текстове (например в автоматични приложения за превод) е от съществено значение да можем да идентифицираме езика на всеки текст.

Твоята роля е да разработиш автоматична система, способна да определи езика на текст, започвайки от обучението на модел въз основа на набор от етикетирани примери.

🌍 Възможни езици

Автоматичната система трябва да функционира за следните езици:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Набор от данни

На разположение имаш два CSV файла:

• train.csv - съдържа текстове и техните езици
• test.csv - съдържа текстове, за които моделът трябва да предскаже езика

Всеки ред от train.csv има следните колони:

• SampleID - уникалният идентификатор на текста
• Text - оригиналният текст
• language - езикът на текста

Пример:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Всеки ред от test.csv има следните колони:

• SampleID - уникалният идентификатор на текста
• Text - текстът, за който трябва да се предскаже езикът

Пример:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Task (100 точки)

Построй система, която може да идентифицира езика на текста за текстовете от test.csv.

Предсказанията трябва да бъдат запазени във файл submission.csv с формата:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

където:

• SampleID - уникалният идентификатор на текста от test.csv
• language - езикът, предсказан от твоята система, който трябва да е един от възможните езици от следния списък:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Оценяване

Предсказанията ще бъдат сравнени с реалните езици и ще се изчисли точността:

1accuracy = (брой_правилни_предсказания / общ_брой_предсказания)

Финалният резултат се изчислява въз основа на получената точност, използвайки следните правила:

• accuracy ≥ 0.98 → 100 точки
• accuracy ≤ 0.9 → 0 точки
• За междинните стойности се дават пропорционални точки между 0 и 100.