Oracle de similarité textuelle

📚 L'Oracle de la similarité 🔮

Dans la Bibliothèque du Grand Royaume, les archivistes font face à une tâche de plus en plus difficile :
des milliers de manuscrits, parchemins et chroniques anciennes doivent être organisés, comparés et indexés.

Pour les aider, les ancêtres ont créé un mécanisme légendaire : l'Oracle de la similarité. Il s'agit
d'un dispositif capable d'établir, avec une précision remarquable, à quel point
deux fragments de texte se ressemblent, en retournant un score entre 0 et 5.

Mais le mécanisme s'est dégradé avec le temps, et le Grand Conseil des Archivistes a décidé qu'il fallait
une version moderne, construite en utilisant l'apprentissage automatique.

Pour cela, deux fichiers ont été mis à votre disposition :

• train.csv - les parchemins annotés manuellement par les scribes
• test.csv - nouvelles paires qui doivent être analysées par votre solution

Votre tâche est de reconstruire l'Oracle à travers une série d'analyses et un modèle prédictif final.

📊 Le jeu de données

Chaque ligne des fichiers train.csv et test.csv représente une paire de phrases :

• sampleID – identifiant unique de la paire
• sentence1 – le premier texte
• sentence2 – le deuxième texte
• score – uniquement dans train.csv, une valeur réelle entre 0 et 5 qui indique la similarité

L'objectif final est de prédire score pour chaque ligne de test.csv.

📝 Tâches

Pour les premières sous-tâches, vous devez analyser les données fournies dans train.csv et test.csv
et extraire différentes informations pertinentes sur les phrases du test.

Sous-tâche 1 (10 points)

Calculez la longueur de chaque phrase (sentence1 et sentence2) pour chaque ligne de l'ensemble de test
et étiquetez la paire en fonction de la longueur moyenne :

• Short si la moyenne < 50
• Medium si 50 ≤ moyenne < 100
• Long si la moyenne ≥ 100

Sous-tâche 2 (15 points)

Pour chaque ligne du test, calculez le nombre de mots dans chaque phrase (sentence1 et sentence2) et déterminez le nombre total selon la formule :

1nombre_total = nb_mots(sentence1) + nb_mots(sentence2)

Sous-tâche 3 (15 points)

Établissez la différence absolue entre la longueur de sentence1 et la longueur de sentence2
pour chaque ligne du test.

En d'autres termes, pour chaque ligne nous devons calculer :

1|nb_caractères(sentence1) - nb_caractères(sentence2)|

Sous-tâche 4 (60 points)

Construisez un modèle d'apprentissage automatique capable de prédire la valeur numérique score
pour chaque ligne de test.csv.

L'évaluation finale se fera en utilisant MAE (Mean Absolute Error), calculé ainsi :

🧮 Évaluation

La métrique pour la Sous-tâche 4 est :

• MAE (Mean Absolute Error) (plus la valeur est petite, plus le nombre de points sera grand).
• Si le modèle obtient MAE ≤ 0.65, la solution reçoit 60 points.
• Si le modèle obtient MAE ≥ 2.0, la solution reçoit 0 points.
• Pour les valeurs intermédiaires de MAE, le score est calculé proportionnellement.

Pour les sous-tâches 1-3, les réponses sont évaluées exactement.

📌 Notes

• Les traitements comme la tokenisation, embeddings, modèles pré-entraînés sont autorisés.

📄 Format du fichier de soumission

Le fichier submission.csv doit contenir 4 lignes pour chaque ligne du test,
correspondant aux 4 sous-tâches.

Structure :

1subtaskID datapointID answer

Signification des colonnes :

• subtaskID – un nombre entre 1 et 4

• datapointID – sampleID du test

• answer – le résultat :

  • Sous-tâche 1 : Short / Medium / Long
  • Sous-tâche 2 : nombre entier
  • Sous-tâche 3 : nombre entier
  • Sous-tâche 4 : valeur réelle (score prédit)

Exemple pour un sampleID = 1714 :

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Bonne chance ! Le Grand Conseil des Archivistes place ses espoirs en vous pour faire revivre l'Oracle de la similarité ! 🧙‍♂️