Tekstilise sarnasuse oraakel

📚 Sarnasuse oraakel 🔮

Suure Kuningriigi Raamatukogus seisavad arhivaarid üha keerulisema ülesande ees:
tuhanded käsikirjad, pergamendid ja vanad kroonikad tuleb organiseerida, võrrelda ja indekseerida.

Nende abistamiseks on esivanemad loonud legendaarse mehhanismi: Sarnasuse oraakli. See on
seade, mis suudab märkimisväärse täpsusega määrata, kui sarnased
on kaks tekstifragmenti, tagastades skoori vahemikus 0 kuni 5.

Kuid mehhanism on aja jooksul degradeerunud ja Arhivaaride Suur Nõukogu on otsustanud, et vaja on
kaasaegset versiooni, mis on ehitatud masinõppe abil.

Selleks on sulle antud kaks faili:

• train.csv - kirjutajate poolt käsitsi annoteeritud pergamendid
• test.csv - uued paarid, mida sinu lahendus peab analüüsima

Sinu ülesanne on rekonstrueerida Oraakel läbi analüüside seeria ja lõpliku ennustava mudeli.

📊 Andmestik

Iga rida failides train.csv ja test.csv esindab lausete paari:

• sampleID – paari unikaalne identifikaator
• sentence1 – esimene tekst
• sentence2 – teine tekst
• score – ainult train.csv-s, reaalarv vahemikus 0 kuni 5, mis näitab sarnasust

Lõplik eesmärk on ennustada score iga rea jaoks failis test.csv.

📝 Ülesanded

Esimeste alamülesannete jaoks peate analüüsima failides train.csv ja test.csv antud andmeid
ja eraldama erinevat olulist teavet testilausete kohta.

Alamülesanne 1 (10 punkti)

Arvutage iga lause pikkus (sentence1 ja sentence2) iga rea jaoks testikomplektis
ja märgistage paar keskmise pikkuse alusel:

• Short kui keskmine < 50
• Medium kui 50 ≤ keskmine < 100
• Long kui keskmine ≥ 100

Alamülesanne 2 (15 punkti)

Iga rea jaoks testis arvutage sõnade arv igas lauses (sentence1 ja sentence2) ja määrake kogusumma valemiga:

1kogusumma = sõnade_arv(sentence1) + sõnade_arv(sentence2)

Alamülesanne 3 (15 punkti)

Määrake absoluutne erinevus sentence1 ja sentence2 pikkuse vahel
iga rea jaoks testis.

Teisisõnu, iga rea jaoks peame arvutama:

1|märkide_arv(sentence1) - märkide_arv(sentence2)|

Alamülesanne 4 (60 punkti)

Ehitage masinõppe mudel, mis suudab ennustada numbrilist väärtust score
iga rea jaoks failis test.csv.

Lõplik hindamine toimub kasutades MAE (Mean Absolute Error), mis arvutatakse järgmiselt:

🧮 Hindamine

Alamülesande 4 mõõdik on:

• MAE (Mean Absolute Error) (mida väiksem väärtus, seda rohkem punkte saab).
• Kui mudel saavutab MAE ≤ 0.65, saab lahendus 60 punkti.
• Kui mudel saavutab MAE ≥ 2.0, saab lahendus 0 punkti.
• MAE vahepealsete väärtuste korral arvutatakse punktisumma proportsionaalselt.

Alamülesannete 1-3 puhul hinnatakse vastuseid täpselt.

📌 Märkused

• Töötlused nagu tokeniseerimine, embeddings, eelkoolitatud mudelid on lubatud.

📄 Esitamisfaili formaat

Fail submission.csv peab sisaldama 4 rida iga testi rea kohta,
mis vastavad 4 alamülesandele.

Struktuur:

1subtaskID datapointID answer

Veergude tähendus:

• subtaskID – number vahemikus 1 kuni 4

• datapointID – sampleID testist

• answer – tulemus:

  • Alamülesanne 1: Short / Medium / Long
  • Alamülesanne 2: täisarv
  • Alamülesanne 3: täisarv
  • Alamülesanne 4: reaalarv (ennustatud skoor)

Näide sampleID = 1714 jaoks:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Edu! Arhivaaride Suur Nõukogu paneb oma lootused teie peale sarnasuse oraakli taaselustamiseks! 🧙‍♂️