Oracolo della similarità testuale

📚 L'Oracolo della similarità 🔮

Nella Biblioteca del Grande Regno, gli archivisti si confrontano con un compito sempre più difficile:
migliaia di manoscritti, pergamene e cronache antiche devono essere organizzate, confrontate e indicizzate.

Per aiutarli, gli antenati hanno creato un meccanismo leggendario: l'Oracolo della similarità. Questo è
un dispositivo capace di stabilire, con una precisione notevole, quanto sono simili
due frammenti di testo, restituendo un punteggio tra 0 e 5.

Ma il meccanismo si è degradato nel tempo, e il Grande Consiglio degli Archivisti ha deciso che è necessaria
una versione moderna, costruita utilizzando l'apprendimento automatico.

Per questo, ti sono stati messi a disposizione due file:

• train.csv - le pergamene annotate manualmente dagli scribi
• test.csv - nuove coppie che devono essere analizzate dalla tua soluzione

Il tuo compito è ricostruire l'Oracolo attraverso una serie di analisi e un modello predittivo finale.

📊 Il set di dati

Ogni riga nei file train.csv e test.csv rappresenta una coppia di frasi:

• sampleID – identificatore unico della coppia
• sentence1 – il primo testo
• sentence2 – il secondo testo
• score – solo in train.csv, un valore reale tra 0 e 5 che indica la similarità

L'obiettivo finale è predire score per ogni riga in test.csv.

📝 Task

Per i primi subtask, devi analizzare i dati forniti in train.csv e test.csv
ed estrarre diverse informazioni rilevanti sulle frasi del test.

Subtask 1 (10 punti)

Calcola la lunghezza di ogni frase (sentence1 e sentence2) per ogni riga nel set di test
ed etichetta la coppia in base alla lunghezza media:

• Short se la media < 50
• Medium se 50 ≤ media < 100
• Long se la media ≥ 100

Subtask 2 (15 punti)

Per ogni riga nel test, calcola il numero di parole in ogni frase (sentence1 e sentence2) e determina il numero totale secondo la formula:

1numero_totale = nr_parole(sentence1) + nr_parole(sentence2)

Subtask 3 (15 punti)

Stabilisci la differenza assoluta tra la lunghezza di sentence1 e la lunghezza di sentence2
per ogni riga nel test.

In altre parole, per ogni riga dobbiamo calcolare:

1|nr_caratteri(sentence1) - nr_caratteri(sentence2)|

Subtask 4 (60 punti)

Costruisci un modello di apprendimento automatico capace di predire il valore numerico score
per ogni riga in test.csv.

La valutazione finale sarà fatta utilizzando MAE (Mean Absolute Error), calcolato così:

🧮 Valutazione

La metrica per il Subtask 4 è:

• MAE (Mean Absolute Error) (più basso è il valore, maggiore sarà il numero di punti).
• Se il modello ottiene MAE ≤ 0.65, la soluzione riceve 60 punti.
• Se il modello ottiene MAE ≥ 2.0, la soluzione riceve 0 punti.
• Per valori intermedi di MAE, il punteggio viene calcolato proporzionalmente.

Per i subtask 1-3, le risposte sono valutate esattamente.

📌 Note

• Trattamenti come tokenizzazione, embeddings, modelli pre-addestrati sono permessi.

📄 Formato del file di submission

Il file submission.csv deve contenere 4 righe per ogni riga del test,
corrispondenti ai 4 subtask.

Struttura:

1subtaskID datapointID answer

Significato delle colonne:

• subtaskID – un numero tra 1 e 4

• datapointID – sampleID dal test

• answer – il risultato:

  • Subtask 1: Short / Medium / Long
  • Subtask 2: numero intero
  • Subtask 3: numero intero
  • Subtask 4: valore reale (punteggio predetto)

Esempio per un sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Successo! Il Grande Consiglio degli Archivisti ripone le sue speranze in voi per far rivivere l'Oracolo della similarità! 🧙‍♂️