Tekstuaalisen samankaltaisuuden oraakkeli

📚 Samankaltaisuuden oraakkeli 🔮

Suuren Kuningaskunnan Kirjastossa arkistonhoitajat kohtaavat yhä vaikeamman tehtävän:
tuhansia käsikirjoituksia, pergamentteja ja vanhoja kronikoita täytyy järjestää, vertailla ja indeksoida.

Auttaakseen heitä, esi-isät loivat legendaarisen mekanismin: Samankaltaisuuden oraakkelin. Tämä on
laite, joka kykenee määrittämään huomattavalla tarkkuudella, kuinka samankaltaisia
kaksi tekstifragmenttia ovat, palauttaen pistemäärän väliltä 0-5.

Mutta mekanismi on rappeutunut ajan myötä, ja Arkistonhoitajien Suuri Neuvosto on päättänyt, että tarvitaan
moderni versio, joka rakennetaan koneoppimista käyttäen.

Tätä varten sinun käyttöösi on annettu kaksi tiedostoa:

• train.csv - kirjurien manuaalisesti merkitsemät pergamentit
• test.csv - uudet parit, jotka ratkaisusi täytyy analysoida

Tehtäväsi on rekonstruoida Oraakkeli sarjan analyysien ja lopullisen ennustemallin avulla.

📊 Tietojoukko

Jokainen rivi tiedostoissa train.csv ja test.csv edustaa lauseparia:

• sampleID – parin yksilöllinen tunniste
• sentence1 – ensimmäinen teksti
• sentence2 – toinen teksti
• score – vain train.csv:ssä, reaaliluku väliltä 0-5, joka ilmaisee samankaltaisuuden

Lopullinen tavoite on ennustaa score jokaiselle riville tiedostossa test.csv.

📝 Tehtävät

Ensimmäisissä alitehtävissä sinun täytyy analysoida tiedostoissa train.csv ja test.csv annettuja tietoja
ja poimia erilaisia relevantteja tietoja testin lauseista.

Alitehtävä 1 (10 pistettä)

Laske jokaisen lauseen (sentence1 ja sentence2) pituus jokaiselle riville testitietojoukkossa
ja merkitse pari keskimääräisen pituuden mukaan:

• Short jos keskiarvo < 50
• Medium jos 50 ≤ keskiarvo < 100
• Long jos keskiarvo ≥ 100

Alitehtävä 2 (15 pistettä)

Laske jokaiselle testin riville sanojen määrä jokaisessa lauseessa (sentence1 ja sentence2) ja määritä kokonaismäärä kaavan mukaan:

1kokonaismäärä = sanojen_määrä(sentence1) + sanojen_määrä(sentence2)

Alitehtävä 3 (15 pistettä)

Määritä itseisarvoero sentence1:n ja sentence2:n pituuden välillä
jokaiselle testin riville.

Toisin sanoen, jokaiselle riville täytyy laskea:

1|merkkien_määrä(sentence1) - merkkien_määrä(sentence2)|

Alitehtävä 4 (60 pistettä)

Rakenna koneoppimismalli, joka kykenee ennustamaan numeerisen arvon score
jokaiselle riville tiedostossa test.csv.

Lopullinen arviointi tehdään käyttäen MAE (Mean Absolute Error) -metriikkaa, joka lasketaan seuraavasti:

🧮 Arviointi

Alitehtävän 4 metriikka on:

• MAE (Mean Absolute Error) (mitä pienempi arvo, sitä enemmän pisteitä saa).
• Jos malli saavuttaa MAE ≤ 0.65, ratkaisu saa 60 pistettä.
• Jos malli saavuttaa MAE ≥ 2.0, ratkaisu saa 0 pistettä.
• MAE:n väliarvoille pisteet lasketaan suhteellisesti.

Alitehtävissä 1-3 vastaukset arvioidaan tarkasti.

📌 Huomautukset

• Käsittelyt kuten tokenisointi, upotukset, esikoulutetut mallit ovat sallittuja.

📄 Palautustiedoston muoto

Tiedoston submission.csv täytyy sisältää 4 riviä jokaista testin riviä kohden,
vastaten 4 alitehtävää.

Rakenne:

1subtaskID datapointID answer

Sarakkeiden merkitys:

• subtaskID – numero väliltä 1-4

• datapointID – sampleID testistä

• answer – tulos:

  • Alitehtävä 1: Short / Medium / Long
  • Alitehtävä 2: kokonaisluku
  • Alitehtävä 3: kokonaisluku
  • Alitehtävä 4: reaaliarvo (ennustettu pistemäärä)

Esimerkki sampleID = 1714:lle:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Onnea! Arkistonhoitajien Suuri Neuvosto asettaa toivonsa teihin Samankaltaisuuden oraakkelin herättämiseksi henkiin! 🧙‍♂️