Oraklet for tekstuel lighed

📚 Lighedens Orakel 🔮

I Det Store Kongeriges Bibliotek står arkivarer over for en stadig vanskeligere opgave:
tusindvis af manuskripter, pergamenter og gamle krøniker skal organiseres, sammenlignes og indekseres.

For at hjælpe dem har forfædrene skabt en legendarisk mekanisme: Lighedens Orakel. Dette er
en enhed, der er i stand til at fastslå med bemærkelsesværdig præcision, hvor ens
to tekstfragmenter er, og returnerer en score mellem 0 og 5.

Men mekanismen er blevet forringet over tid, og Det Store Arkivråd har besluttet, at der er brug
for en moderne version, bygget ved hjælp af maskinlæring.

Til dette er der stillet to filer til rådighed:

• train.csv - pergamenter annoteret manuelt af skrivere
• test.csv - nye par, der skal analyseres af din løsning

Din opgave er at rekonstruere Oraklet gennem en række analyser og en endelig prædiktiv model.

📊 Datasættet

Hver række i filerne train.csv og test.csv repræsenterer et par sætninger:

• sampleID – unikt identifikator for parret
• sentence1 – den første tekst
• sentence2 – den anden tekst
• score – kun i train.csv, en reel værdi mellem 0 og 5, der angiver ligheden

Det endelige mål er at forudsige score for hver række i test.csv.

📝 Opgaver

For de første subtasks skal du analysere dataene leveret i train.csv og test.csv
og udtrække forskellige relevante informationer om sætningerne fra test.

Subtask 1 (10 point)

Beregn længden af hver sætning (sentence1 og sentence2) for hver række i testsættet
og etiket parret baseret på den gennemsnitlige længde:

• Short hvis gennemsnit < 50
• Medium hvis 50 ≤ gennemsnit < 100
• Long hvis gennemsnit ≥ 100

Subtask 2 (15 point)

For hver række i test skal du beregne antallet af ord i hver sætning (sentence1 og sentence2) og bestemme det samlede antal efter formlen:

1samlet_antal = antal_ord(sentence1) + antal_ord(sentence2)

Subtask 3 (15 point)

Fastslå den absolutte forskel mellem længden af sentence1 og længden af sentence2
for hver række i test.

Med andre ord skal vi for hver række beregne:

1|antal_tegn(sentence1) - antal_tegn(sentence2)|

Subtask 4 (60 point)

Byg en maskinlæringsmodel, der er i stand til at forudsige den numeriske værdi score
for hver række i test.csv.

Den endelige evaluering vil blive udført ved hjælp af MAE (Mean Absolute Error), beregnet således:

🧮 Evaluering

Metrikken for Subtask 4 er:

• MAE (Mean Absolute Error) (jo lavere værdi, jo flere point vil der blive tildelt).
• Hvis modellen opnår MAE ≤ 0.65, får løsningen 60 point.
• Hvis modellen opnår MAE ≥ 2.0, får løsningen 0 point.
• For mellemliggende MAE-værdier beregnes pointene proportionalt.

For subtasks 1-3 evalueres svarene nøjagtigt.

📌 Noter

• Behandlinger som tokenisering, embeddings, præ-trænede modeller er tilladt.

📄 Format for indsendelsesfile

Filen submission.csv skal indeholde 4 linjer for hver række i test,
svarende til de 4 subtasks.

Struktur:

1subtaskID datapointID answer

Betydningen af kolonnerne:

• subtaskID – et tal mellem 1 og 4

• datapointID – sampleID fra test

• answer – resultatet:

  • Subtask 1: Short / Medium / Long
  • Subtask 2: heltal
  • Subtask 3: heltal
  • Subtask 4: reel værdi (forudsagt score)

Eksempel for et sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Held og lykke! Det Store Arkivråd sætter deres håb til jer for at genoplive Lighedens Orakel! 🧙‍♂️