Wyrocznia podobieństwa tekstowego

📚 Wyrocznia podobieństwa 🔮

W Bibliotece Wielkiego Królestwa archiwariusze stają przed coraz trudniejszym zadaniem:
tysiące manuskryptów, pergaminów i starych kronik musi zostać uporządkowanych, porównanych i zindeksowanych.

Aby im pomóc, przodkowie stworzyli legendarny mechanizm: Wyrocznię podobieństwa. Jest to
urządzenie zdolne do ustalenia, z niezwykłą precyzją, jak podobne
są dwa fragmenty tekstu, zwracając wynik między 0 a 5.

Ale mechanizm uległ degradacji z czasem, a Wielka Rada Archiwariuszy zdecydowała, że potrzebna jest
nowoczesna wersja, zbudowana przy użyciu uczenia maszynowego.

W tym celu udostępniono ci dwa pliki:

• train.csv - pergaminy ręcznie opisane przez skrybów
• test.csv - nowe pary, które muszą zostać przeanalizowane przez twoje rozwiązanie

Twoim zadaniem jest zrekonstruowanie Wyroczni poprzez serię analiz i końcowy model predykcyjny.

📊 Zbiór danych

Każdy wiersz w plikach train.csv i test.csv reprezentuje parę zdań:

• sampleID – unikalny identyfikator pary
• sentence1 – pierwszy tekst
• sentence2 – drugi tekst
• score – tylko w train.csv, wartość rzeczywista między 0 a 5 wskazująca podobieństwo

Końcowym celem jest przewidzenie score dla każdego wiersza z test.csv.

📝 Zadania

Dla pierwszych podzadań musisz przeanalizować dane dostarczone w train.csv i test.csv
i wyodrębnić różne istotne informacje o zdaniach z testu.

Podzadanie 1 (10 punktów)

Oblicz długość każdego zdania (sentence1 i sentence2) dla każdego wiersza ze zbioru testowego
i oznacz parę w zależności od średniej długości:

• Short jeśli średnia < 50
• Medium jeśli 50 ≤ średnia < 100
• Long jeśli średnia ≥ 100

Podzadanie 2 (15 punktów)

Dla każdego wiersza z testu oblicz liczbę słów w każdym zdaniu (sentence1 i sentence2) i określ liczbę całkowitą według wzoru:

1liczba_całkowita = liczba_słów(sentence1) + liczba_słów(sentence2)

Podzadanie 3 (15 punktów)

Ustal różnicę bezwzględną między długością sentence1 a długością sentence2
dla każdego wiersza z testu.

Innymi słowy, dla każdego wiersza musimy obliczyć:

1|liczba_znaków(sentence1) - liczba_znaków(sentence2)|

Podzadanie 4 (60 punktów)

Zbuduj model uczenia maszynowego zdolny do przewidywania wartości numerycznej score
dla każdego wiersza z test.csv.

Końcowa ocena zostanie przeprowadzona przy użyciu MAE (Mean Absolute Error), obliczanego w następujący sposób:

🧮 Ocena

Metryka dla Podzadania 4 to:

• MAE (Mean Absolute Error) (im mniejsza wartość, tym więcej punktów).
• Jeśli model uzyska MAE ≤ 0.65, rozwiązanie otrzymuje 60 punktów.
• Jeśli model uzyska MAE ≥ 2.0, rozwiązanie otrzymuje 0 punktów.
• Dla wartości pośrednich MAE punkty są obliczane proporcjonalnie.

Dla podzadań 1-3 odpowiedzi są oceniane dokładnie.

📌 Uwagi

• Przetwarzanie takie jak tokenizacja, embeddingi, modele wstępnie wytrenowane są dozwolone.

📄 Format pliku zgłoszenia

Plik submission.csv musi zawierać 4 linie dla każdego wiersza z testu,
odpowiadające 4 podzadaniom.

Struktura:

1subtaskID datapointID answer

Znaczenie kolumn:

• subtaskID – liczba między 1 a 4

• datapointID – sampleID z testu

• answer – wynik:

  • Podzadanie 1: Short / Medium / Long
  • Podzadanie 2: liczba całkowita
  • Podzadanie 3: liczba całkowita
  • Podzadanie 4: wartość rzeczywista (przewidziany wynik)

Przykład dla sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Powodzenia! Wielka Rada Archiwariuszy pokłada w was nadzieje na ożywienie Wyroczni podobieństwa! 🧙‍♂️