Oraklet för textlikhet

📚 Likhetsoraklet 🔮

I Stora Rikets Bibliotek står arkivarierna inför en allt svårare uppgift:
tusentals manuskript, pergament och gamla krönikor måste organiseras, jämföras och indexeras.

För att hjälpa dem har förfäderna skapat en legendarisk mekanism: Likhetsoraklet. Detta är
en apparat som kan fastställa, med anmärkningsvärd precision, hur lika
två textfragment är, och returnera en poäng mellan 0 och 5.

Men mekanismen har försämrats över tid, och Arkivariernas Stora Råd har beslutat att det behövs
en modern version, byggd med hjälp av maskininlärning.

För detta har du fått tillgång till två filer:

• train.csv - pergament manuellt annoterade av skrivare
• test.csv - nya par som behöver analyseras av din lösning

Din uppgift är att rekonstruera Oraklet genom en serie analyser och en slutlig prediktiv modell.

📊 Datasetet

Varje rad i filerna train.csv och test.csv representerar ett par meningar:

• sampleID – unikt ID för paret
• sentence1 – den första texten
• sentence2 – den andra texten
• score – endast i train.csv, ett reellt värde mellan 0 och 5 som indikerar likhet

Det slutliga målet är att predicera score för varje rad i test.csv.

📝 Uppgifter

För de första deluppgifterna måste du analysera data som tillhandahålls i train.csv och test.csv
och extrahera olika relevant information om meningarna i test.

Deluppgift 1 (10 poäng)

Beräkna längden på varje mening (sentence1 och sentence2) för varje rad i testuppsättningen
och märk paret baserat på medellängden:

• Short om medelvärdet < 50
• Medium om 50 ≤ medelvärdet < 100
• Long om medelvärdet ≥ 100

Deluppgift 2 (15 poäng)

För varje rad i test, beräkna antalet ord i varje mening (sentence1 och sentence2) och bestäm det totala antalet enligt formeln:

1totalt_antal = antal_ord(sentence1) + antal_ord(sentence2)

Deluppgift 3 (15 poäng)

Fastställ den absoluta skillnaden mellan längden på sentence1 och längden på sentence2
för varje rad i test.

Med andra ord, för varje rad måste vi beräkna:

1|antal_tecken(sentence1) - antal_tecken(sentence2)|

Deluppgift 4 (60 poäng)

Bygg en maskininlärningsmodell som kan predicera det numeriska värdet score
för varje rad i test.csv.

Den slutliga utvärderingen kommer att göras med MAE (Mean Absolute Error), beräknat enligt:

🧮 Utvärdering

Måttet för Deluppgift 4 är:

• MAE (Mean Absolute Error) (ju lägre värde, desto fler poäng).
• Om modellen uppnår MAE ≤ 0.65, får lösningen 60 poäng.
• Om modellen uppnår MAE ≥ 2.0, får lösningen 0 poäng.
• För mellanliggande MAE-värden beräknas poängen proportionellt.

För deluppgifter 1-3 utvärderas svaren exakt.

📌 Noteringar

• Behandlingar som tokenisering, embeddings, förtränade modeller är tillåtna.

📄 Format för inlämningsfilen

Filen submission.csv måste innehålla 4 rader för varje rad i test,
motsvarande de 4 deluppgifterna.

Struktur:

1subtaskID datapointID answer

Betydelsen av kolumnerna:

• subtaskID – ett nummer mellan 1 och 4

• datapointID – sampleID från test

• answer – resultatet:

  • Deluppgift 1: Short / Medium / Long
  • Deluppgift 2: heltal
  • Deluppgift 3: heltal
  • Deluppgift 4: reellt värde (predicerad poäng)

Exempel för ett sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Lycka till! Arkivariernas Stora Råd sätter sitt hopp till er för att återuppliva Likhetsoraklet! 🧙‍♂️