Identificación del idioma de un texto

✍️ Identificación del idioma de un texto 🌐

En un mundo globalizado, los mensajes llegan desde todos los rincones del mundo y pueden estar escritos en diversos idiomas. Para procesar automáticamente estos textos (por ejemplo, en aplicaciones automáticas de traducción) es esencial poder identificar el idioma de cada texto.

Tu rol es desarrollar un sistema automático capaz de determinar el idioma de un texto, partiendo del entrenamiento de un modelo basado en un conjunto de ejemplos etiquetados.

🌍 Idiomas posibles

El sistema automático debe funcionar para los siguientes idiomas:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Conjunto de datos

Tienes a disposición dos archivos CSV:

• train.csv - contiene textos y sus idiomas
• test.csv - contiene textos para los cuales el modelo debe predecir el idioma

Cada fila de train.csv tiene las siguientes columnas:

• SampleID - identificador único del texto
• Text - texto original
• language - idioma del texto

Ejemplo:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Cada fila de test.csv tiene las siguientes columnas:

• SampleID - identificador único del texto
• Text - texto para el cual se debe predecir el idioma

Ejemplo:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Tarea (100 puntos)

Construye un sistema que pueda identificar el idioma del texto para los textos de test.csv.

Las predicciones deben guardarse en un archivo submission.csv con el formato:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

donde:

• SampleID - identificador único del texto de test.csv
• language - idioma predicho por tu sistema, que debe ser uno de los idiomas posibles de la siguiente lista:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Evaluación

Las predicciones serán comparadas con los idiomas reales y se calculará la precisión:

1accuracy = (numero_predicciones_correctas / numero_total_predicciones)

El puntaje final se calcula basándose en la precisión obtenida usando las siguientes reglas:

• accuracy ≥ 0.98 → 100 puntos
• accuracy ≤ 0.9 → 0 puntos
• Para valores intermedios se otorga puntaje proporcional entre 0 y 100.