Identification de la langue d'un texte

✍️ Identification de la langue d'un texte 🌐

Dans un monde globalisé, les messages viennent de tous les coins du monde et peuvent être écrits dans diverses langues. Pour traiter automatiquement ces textes (par exemple, dans des applications automatiques de traduction), il est essentiel de pouvoir identifier la langue de chaque texte.

Ton rôle est de développer un système automatique capable de déterminer la langue d'un texte, en partant de l'entraînement d'un modèle basé sur un ensemble d'exemples étiquetés.

🌍 Langues possibles

Le système automatique doit fonctionner pour les langues suivantes :

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Jeu de données

Tu as à disposition deux fichiers CSV :

• train.csv - contient des textes et leurs langues
• test.csv - contient des textes pour lesquels le modèle doit prédire la langue

Chaque ligne de train.csv a les colonnes suivantes :

• SampleID - l'identifiant unique du texte
• Text - le texte original
• language - la langue du texte

Exemple :

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Chaque ligne de test.csv a les colonnes suivantes :

• SampleID - l'identifiant unique du texte
• Text - le texte pour lequel il faut prédire la langue

Exemple :

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Tâche (100 points)

Construis un système qui peut identifier la langue du texte pour les textes de test.csv.

Les prédictions doivent être sauvegardées dans un fichier submission.csv avec le format :

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

où :

• SampleID - l'identifiant unique du texte de test.csv
• language - la langue prédite par ton système, qui doit être une des langues possibles de la liste suivante :

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Évaluation

Les prédictions seront comparées avec les langues réelles et on calculera l'exactitude :

1accuracy = (nombre_prédictions_correctes / nombre_total_prédictions)

Le score final est calculé sur la base de l'exactitude obtenue en utilisant les règles suivantes :

• accuracy ≥ 0.98 → 100 points
• accuracy ≤ 0.9 → 0 points
• Pour les valeurs intermédiaires, on accorde un score proportionnel entre 0 et 100.