Orakelet for tekstuell likhet

📚 Likhetsorakelet 🔮

I Det Store Rikets Bibliotek står arkivarene overfor en stadig vanskeligere oppgave:
tusenvis av manuskripter, pergamenter og gamle krøniker må organiseres, sammenlignes og indekseres.

For å hjelpe dem har forfedrene skapt en legendarisk mekanisme: Likhetsorakelet. Dette er
en innretning som kan fastslå, med bemerkelsesverdig presisjon, hvor like
to tekstfragmenter er, og returnerer en skår mellom 0 og 5.

Men mekanismen har blitt forringet over tid, og Det Store Arkivarrådet har bestemt at det trengs
en moderne versjon, bygget ved hjelp av maskinlæring.

For dette har du fått tilgang til to filer:

• train.csv - pergamenter manuelt annotert av skrivere
• test.csv - nye par som må analyseres av din løsning

Din oppgave er å rekonstruere Orakelet gjennom en serie analyser og en endelig prediktiv modell.

📊 Datasettet

Hver rad i filene train.csv og test.csv representerer et par setninger:

• sampleID – unik identifikator for paret
• sentence1 – den første teksten
• sentence2 – den andre teksten
• score – kun i train.csv, en reell verdi mellom 0 og 5 som indikerer likheten

Det endelige målet er å predikere score for hver rad i test.csv.

📝 Oppgaver

For de første deloppgavene må du analysere dataene gitt i train.csv og test.csv
og trekke ut ulik relevant informasjon om setningene fra test.

Deloppgave 1 (10 poeng)

Beregn lengden på hver setning (sentence1 og sentence2) for hver rad i testsettet
og merk paret basert på gjennomsnittslengden:

• Short hvis gjennomsnittet < 50
• Medium hvis 50 ≤ gjennomsnittet < 100
• Long hvis gjennomsnittet ≥ 100

Deloppgave 2 (15 poeng)

For hver rad i test, beregn antall ord i hver setning (sentence1 og sentence2) og bestem totalt antall etter formelen:

1totalt_antall = antall_ord(sentence1) + antall_ord(sentence2)

Deloppgave 3 (15 poeng)

Fastslå den absolutte forskjellen mellom lengden på sentence1 og lengden på sentence2
for hver rad i test.

Med andre ord, for hver rad må vi beregne:

1|antall_tegn(sentence1) - antall_tegn(sentence2)|

Deloppgave 4 (60 poeng)

Bygg en maskinlæringsmodell som kan predikere den numeriske verdien score
for hver rad i test.csv.

Den endelige evalueringen vil bli gjort ved hjelp av MAE (Mean Absolute Error), beregnet som følger:

🧮 Evaluering

Metrikken for Deloppgave 4 er:

• MAE (Mean Absolute Error) (jo lavere verdien er, jo flere poeng vil du få).
• Hvis modellen oppnår MAE ≤ 0.65, får løsningen 60 poeng.
• Hvis modellen oppnår MAE ≥ 2.0, får løsningen 0 poeng.
• For mellomliggende MAE-verdier beregnes poengsummen proporsjonalt.

For deloppgave 1-3 evalueres svarene eksakt.

📌 Merknader

• Behandlinger som tokenisering, embeddings, forhåndstrente modeller er tillatt.

📄 Format for innleveringsfilen

Filen submission.csv må inneholde 4 linjer for hver rad i test,
tilsvarende de 4 deloppgavene.

Struktur:

1subtaskID datapointID answer

Betydningen av kolonnene:

• subtaskID – et tall mellom 1 og 4

• datapointID – sampleID fra test

• answer – resultatet:

  • Deloppgave 1: Short / Medium / Long
  • Deloppgave 2: heltall
  • Deloppgave 3: heltall
  • Deloppgave 4: reell verdi (predikert skår)

Eksempel for en sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Lykke til! Det Store Arkivarrådet setter sitt håp til dere for å gjenopplive Likhetsorakelet! 🧙‍♂️