Teksta līdzības orākuls

📚 Līdzības orākuls 🔮

Lielās Karalistes bibliotēkā arhivāri saskaras ar arvien sarežģītāku uzdevumu:
tūkstošiem manuskriptu, pergamentu un vecu hroniku ir jāorganizē, jāsalīdzina un jāindeksē.

Lai viņiem palīdzētu, senči ir radījuši leģendāru mehānismu: Līdzības orākuls. Tas ir
ierīce, kas spēj ar ievērojamu precizitāti noteikt, cik līdzīgi
ir divi teksta fragmenti, atgriežot punktu skaitu no 0 līdz 5.

Bet mehānisms laika gaitā ir degradējies, un Lielā Arhivāru padome ir nolēmusi, ka ir nepieciešama
moderna versija, kas būvēta, izmantojot mašīnmācīšanos.

Šim nolūkam tev ir nodoti divi faili:

• train.csv - pergamenti, ko manuāli anotējuši rakstveži
• test.csv - jauni pāri, kas jāanalizē ar tavu risinājumu

Tavs uzdevums ir rekonstruēt Orākulu ar analīžu sēriju un gala prognozējošo modeli.

📊 Datu kopa

Katrs rindas no failiem train.csv un test.csv reprezentē teikumu pāri:

• sampleID – pāra unikālais identifikators
• sentence1 – pirmais teksts
• sentence2 – otrais teksts
• score – tikai train.csv, reāla vērtība no 0 līdz 5, kas norāda līdzību

Galīgais mērķis ir prognozēt score katram rindam no test.csv.

📝 Uzdevumi

Pirmajiem apakšuzdevumiem jāanalizē dati, kas sniegti train.csv un test.csv
un jāizvelk dažāda svarīga informācija par teikumiem no testa.

Apakšuzdevums 1 (10 punkti)

Aprēķiniet katra teikuma garumu (sentence1 un sentence2) katram rindam no testa kopas
un etiķetējiet pāri atkarībā no vidējā garuma:

• Short ja vidējais < 50
• Medium ja 50 ≤ vidējais < 100
• Long ja vidējais ≥ 100

Apakšuzdevums 2 (15 punkti)

Katram rindam no testa, aprēķiniet vārdu skaitu katrā teikumā (sentence1 un sentence2) un nosakiet kopējo skaitu pēc formulas:

1kopējais_skaits = vārdu_skaits(sentence1) + vārdu_skaits(sentence2)

Apakšuzdevums 3 (15 punkti)

Nosakiet absolūto starpību starp sentence1 garumu un sentence2 garumu
katram rindam no testa.

Citiem vārdiem sakot, katram rindam jāaprēķina:

1|rakstzīmju_skaits(sentence1) - rakstzīmju_skaits(sentence2)|

Apakšuzdevums 4 (60 punkti)

Izveidojiet mašīnmācīšanās modeli, kas spēj prognozēt skaitlisko vērtību score
katram rindam no test.csv.

Galīgais novērtējums tiks veikts, izmantojot MAE (Mean Absolute Error), kas aprēķināts šādi:

🧮 Novērtējums

Metrika 4. apakšuzdevumam ir:

• MAE (Mean Absolute Error) (jo mazāka vērtība, jo vairāk punktu).
• Ja modelis iegūst MAE ≤ 0.65, risinājums saņem 60 punktus.
• Ja modelis iegūst MAE ≥ 2.0, risinājums saņem 0 punktus.
• Starpvērtībām MAE punkti tiek aprēķināti proporcionāli.

1.-3. apakšuzdevumiem atbildes tiek novērtētas precīzi.

📌 Piezīmes

• Apstrādes metodes kā tokenizācija, embeddings, iepriekš apmācīti modeļi ir atļauti.

📄 Iesniegšanas faila formāts

Failam submission.csv jāsatur 4 rindas katram testa rindam,
kas atbilst 4 apakšuzdevumiem.

Struktūra:

1subtaskID datapointID answer

Kolonnu nozīme:

• subtaskID – skaitlis no 1 līdz 4

• datapointID – sampleID no testa

• answer – rezultāts:

  • 1. apakšuzdevums: Short / Medium / Long
  • 2. apakšuzdevums: vesels skaitlis
  • 3. apakšuzdevums: vesels skaitlis
  • 4. apakšuzdevums: reāla vērtība (prognozētais punktu skaits)

Piemērs sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Veiksmi! Lielā Arhivāru padome liek cerības uz jums, lai atdzīvinātu Līdzības orākulu! 🧙‍♂️