Orakel van tekstuele gelijkenis

📚 Het Orakel van Gelijkenis 🔮

In de Bibliotheek van het Grote Koninkrijk worden de archivisten geconfronteerd met een steeds moeilijkere taak:
duizenden manuscripten, perkamenten en oude kronieken moeten georganiseerd, vergeleken en geïndexeerd worden.

Om hen te helpen hebben de voorouders een legendarisch mechanisme gecreëerd: Het Orakel van Gelijkenis. Dit is
een apparaat dat in staat is om met opmerkelijke precisie vast te stellen hoe vergelijkbaar
twee tekstfragmenten zijn, door een score tussen 0 en 5 terug te geven.

Maar het mechanisme is in de loop der tijd verslechterd, en de Grote Raad van Archivisten heeft besloten dat er behoefte is
aan een moderne versie, gebouwd met behulp van machine learning.

Hiervoor zijn twee bestanden tot je beschikking gesteld:

• train.csv - handmatig geannoteerde perkamenten door schriftgeleerden
• test.csv - nieuwe paren die geanalyseerd moeten worden door jouw oplossing

Jouw taak is om het Orakel te reconstrueren door middel van een reeks analyses en een finaal predictief model.

📊 De dataset

Elke rij in de bestanden train.csv en test.csv vertegenwoordigt een paar zinnen:

• sampleID – unieke identificator van het paar
• sentence1 – de eerste tekst
• sentence2 – de tweede tekst
• score – alleen in train.csv, een reële waarde tussen 0 en 5 die de gelijkenis aangeeft

Het uiteindelijke doel is om score te voorspellen voor elke rij in test.csv.

📝 Taken

Voor de eerste subtaken moet je de gegevens in train.csv en test.csv analyseren
en verschillende relevante informatie extraheren over de zinnen in de test.

Subtaak 1 (10 punten)

Bereken de lengte van elke zin (sentence1 en sentence2) voor elke rij in de testset
en label het paar op basis van de gemiddelde lengte:

• Short als het gemiddelde < 50
• Medium als 50 ≤ gemiddelde < 100
• Long als gemiddelde ≥ 100

Subtaak 2 (15 punten)

Voor elke rij in test, bereken het aantal woorden in elke zin (sentence1 en sentence2) en bepaal het totale aantal volgens de formule:

1totaal_aantal = nr_woorden(sentence1) + nr_woorden(sentence2)

Subtaak 3 (15 punten)

Bepaal het absolute verschil tussen de lengte van sentence1 en de lengte van sentence2
voor elke rij in test.

Met andere woorden, voor elke rij moeten we berekenen:

1|nr_karakters(sentence1) - nr_karakters(sentence2)|

Subtaak 4 (60 punten)

Bouw een machine learning model dat in staat is om de numerieke waarde score
te voorspellen voor elke rij in test.csv.

De finale evaluatie wordt gedaan met MAE (Mean Absolute Error), berekend als volgt:

🧮 Evaluatie

De metriek voor Subtaak 4 is:

• MAE (Mean Absolute Error) (hoe lager de waarde, hoe hoger het aantal punten).
• Als het model MAE ≤ 0.65 behaalt, krijgt de oplossing 60 punten.
• Als het model MAE ≥ 2.0 behaalt, krijgt de oplossing 0 punten.
• Voor tussenliggende MAE-waarden wordt de score proportioneel berekend.

Voor subtaken 1-3 worden de antwoorden exact geëvalueerd.

📌 Opmerkingen

• Behandelingen zoals tokenisatie, embeddings, voorgetrainde modellen zijn toegestaan.

📄 Formaat van het inzendingsbestand

Het bestand submission.csv moet 4 regels bevatten voor elke rij in test,
corresponderend met de 4 subtaken.

Structuur:

1subtaskID datapointID answer

Betekenis van de kolommen:

• subtaskID – een nummer tussen 1 en 4

• datapointID – sampleID uit test

• answer – het resultaat:

  • Subtaak 1: Short / Medium / Long
  • Subtaak 2: geheel getal
  • Subtaak 3: geheel getal
  • Subtaak 4: reële waarde (voorspelde score)

Voorbeeld voor een sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Succes! De Grote Raad van Archivisten stelt hun hoop in jullie om het Orakel van Gelijkenis nieuw leven in te blazen! 🧙‍♂️