Oráculo de similitud textual

📚 El Oráculo de la similitud 🔮

En la Biblioteca del Gran Reino, los archivistas se enfrentan a una tarea cada vez más difícil:
miles de manuscritos, pergaminos y crónicas antiguas deben organizarse, compararse e indexarse.

Para ayudarlos, los ancestros crearon un mecanismo legendario: El Oráculo de la similitud. Este es
un dispositivo capaz de establecer, con una precisión notable, qué tan similares
son dos fragmentos de texto, devolviendo una puntuación entre 0 y 5.

Pero el mecanismo se ha degradado con el tiempo, y el Gran Consejo de Archivistas ha decidido que se necesita
una versión moderna, construida usando aprendizaje automático.

Para esto, se han puesto a tu disposición dos archivos:

• train.csv - pergaminos anotados manualmente por escribas
• test.csv - pares nuevos que deben ser analizados por tu solución

Tu tarea es reconstruir El Oráculo a través de una serie de análisis y un modelo predictivo final.

📊 El conjunto de datos

Cada fila en los archivos train.csv y test.csv representa un par de oraciones:

• sampleID – identificador único del par
• sentence1 – el primer texto
• sentence2 – el segundo texto
• score – solo en train.csv, un valor real entre 0 y 5 que indica la similitud

El objetivo final es predecir score para cada fila en test.csv.

📝 Tareas

Para las primeras subtareas, debes analizar los datos proporcionados en train.csv y test.csv
y extraer diferentes informaciones relevantes sobre las oraciones del test.

Subtarea 1 (10 puntos)

Calcula la longitud de cada oración (sentence1 y sentence2) para cada fila en el conjunto de test
y etiqueta el par según la longitud promedio:

• Short si el promedio < 50
• Medium si 50 ≤ promedio < 100
• Long si el promedio ≥ 100

Subtarea 2 (15 puntos)

Para cada fila en test, calcula el número de palabras en cada oración (sentence1 y sentence2) y determina el número total según la fórmula:

1número_total = nr_palabras(sentence1) + nr_palabras(sentence2)

Subtarea 3 (15 puntos)

Establece la diferencia absoluta entre la longitud de sentence1 y la longitud de sentence2
para cada fila en test.

En otras palabras, para cada fila debemos calcular:

1|nr_caracteres(sentence1) - nr_caracteres(sentence2)|

Subtarea 4 (60 puntos)

Construye un modelo de aprendizaje automático capaz de predecir el valor numérico score
para cada fila en test.csv.

La evaluación final se realizará usando MAE (Mean Absolute Error), calculado así:

🧮 Evaluación

La métrica para la Subtarea 4 es:

• MAE (Mean Absolute Error) (cuanto menor sea el valor, mayor será el número de puntos).
• Si el modelo obtiene MAE ≤ 0.65, la solución recibe 60 puntos.
• Si el modelo obtiene MAE ≥ 2.0, la solución recibe 0 puntos.
• Para valores intermedios de MAE, el puntaje se calcula proporcionalmente.

Para las subtareas 1-3, las respuestas se evalúan exactamente.

📌 Notas

• Tratamientos como tokenización, embeddings, modelos pre-entrenados están permitidos.

📄 Formato del archivo de envío

El archivo submission.csv debe contener 4 líneas para cada fila en test,
correspondientes a las 4 subtareas.

Estructura:

1subtaskID datapointID answer

Significado de las columnas:

• subtaskID – un número entre 1 y 4

• datapointID – sampleID del test

• answer – el resultado:

  • Subtarea 1: Short / Medium / Long
  • Subtarea 2: número entero
  • Subtarea 3: número entero
  • Subtarea 4: valor real (puntuación predicha)

Ejemplo para un sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

¡Éxito! ¡El Gran Consejo de Archivistas pone sus esperanzas en ustedes para revivir el Oráculo de la similitud! 🧙‍♂️