Orakel der Textähnlichkeit

📚 Das Orakel der Ähnlichkeit 🔮

In der Bibliothek des Großen Königreichs stehen die Archivare vor einer immer schwierigeren Aufgabe:
Tausende von Manuskripten, Pergamenten und alten Chroniken müssen organisiert, verglichen und indexiert werden.

Um ihnen zu helfen, haben die Vorfahren einen legendären Mechanismus geschaffen: Das Orakel der Ähnlichkeit. Dies ist
ein Gerät, das mit bemerkenswerter Präzision bestimmen kann, wie ähnlich sich
zwei Textfragmente sind, indem es einen Score zwischen 0 und 5 zurückgibt.

Aber der Mechanismus hat sich mit der Zeit verschlechtert, und der Große Rat der Archivare hat entschieden, dass eine
moderne Version benötigt wird, die mit maschinellem Lernen erstellt wird.

Dafür wurden dir zwei Dateien zur Verfügung gestellt:

• train.csv - von Schreibern manuell annotierte Pergamente
• test.csv - neue Paare, die von deiner Lösung analysiert werden müssen

Deine Aufgabe ist es, das Orakel durch eine Reihe von Analysen und ein finales Vorhersagemodell zu rekonstruieren.

📊 Der Datensatz

Jede Zeile in den Dateien train.csv und test.csv repräsentiert ein Satzpaar:

• sampleID – eindeutige Kennung des Paares
• sentence1 – der erste Text
• sentence2 – der zweite Text
• score – nur in train.csv, ein realer Wert zwischen 0 und 5, der die Ähnlichkeit angibt

Das finale Ziel ist es, score für jede Zeile in test.csv vorherzusagen.

📝 Aufgaben

Für die ersten Subtasks müssen Sie die in train.csv und test.csv bereitgestellten Daten analysieren
und verschiedene relevante Informationen über die Sätze im Test extrahieren.

Subtask 1 (10 Punkte)

Berechnen Sie die Länge jedes Satzes (sentence1 und sentence2) für jede Zeile im Testset
und kennzeichnen Sie das Paar basierend auf der durchschnittlichen Länge:

• Short wenn Durchschnitt < 50
• Medium wenn 50 ≤ Durchschnitt < 100
• Long wenn Durchschnitt ≥ 100

Subtask 2 (15 Punkte)

Für jede Zeile im Test berechnen Sie die Anzahl der Wörter in jedem Satz (sentence1 und sentence2) und bestimmen Sie die Gesamtzahl nach der Formel:

1gesamtzahl = anzahl_wörter(sentence1) + anzahl_wörter(sentence2)

Subtask 3 (15 Punkte)

Bestimmen Sie den absoluten Unterschied zwischen der Länge von sentence1 und der Länge von sentence2
für jede Zeile im Test.

Mit anderen Worten, für jede Zeile müssen wir berechnen:

1|anzahl_zeichen(sentence1) - anzahl_zeichen(sentence2)|

Subtask 4 (60 Punkte)

Erstellen Sie ein maschinelles Lernmodell, das den numerischen Wert score
für jede Zeile in test.csv vorhersagen kann.

Die finale Bewertung erfolgt mit MAE (Mean Absolute Error), berechnet wie folgt:

🧮 Bewertung

Die Metrik für Subtask 4 ist:

• MAE (Mean Absolute Error) (je niedriger der Wert, desto höher die Punktzahl).
• Wenn das Modell MAE ≤ 0.65 erreicht, erhält die Lösung 60 Punkte.
• Wenn das Modell MAE ≥ 2.0 erreicht, erhält die Lösung 0 Punkte.
• Für Zwischenwerte von MAE wird die Punktzahl proportional berechnet.

Für Subtasks 1-3 werden die Antworten exakt bewertet.

📌 Hinweise

• Behandlungen wie Tokenisierung, Embeddings, vortrainierte Modelle sind erlaubt.

📄 Format der Einreichungsdatei

Die Datei submission.csv muss 4 Zeilen für jede Zeile im Test enthalten,
entsprechend den 4 Subtasks.

Struktur:

1subtaskID datapointID answer

Bedeutung der Spalten:

• subtaskID – eine Zahl zwischen 1 und 4

• datapointID – sampleID aus dem Test

• answer – das Ergebnis:

  • Subtask 1: Short / Medium / Long
  • Subtask 2: ganze Zahl
  • Subtask 3: ganze Zahl
  • Subtask 4: realer Wert (vorhergesagter Score)

Beispiel für eine sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Viel Erfolg! Der Große Rat der Archivare setzt seine Hoffnungen auf euch, um das Orakel der Ähnlichkeit wiederzubeleben! 🧙‍♂️