Oráculo da similaridade textual

📚 O Oráculo da similaridade 🔮

Na Biblioteca do Grande Reino, os arquivistas enfrentam uma tarefa cada vez mais difícil:
milhares de manuscritos, pergaminhos e crônicas antigas precisam ser organizados, comparados e indexados.

Para ajudá-los, os ancestrais criaram um mecanismo lendário: O Oráculo da similaridade. Este é
um dispositivo capaz de estabelecer, com uma precisão notável, quão semelhantes
são dois fragmentos de texto, retornando um score entre 0 e 5.

Mas o mecanismo se degradou com o tempo, e o Grande Conselho dos Arquivistas decidiu que é necessária
uma versão moderna, construída usando aprendizado de máquina.

Para isso, foram disponibilizados dois arquivos:

• train.csv - pergaminhos anotados manualmente por escribas
• test.csv - pares novos que precisam ser analisados pela sua solução

Sua tarefa é reconstruir o Oráculo através de uma série de análises e um modelo preditivo final.

📊 Conjunto de dados

Cada linha dos arquivos train.csv e test.csv representa um par de sentenças:

• sampleID – identificador único do par
• sentence1 – o primeiro texto
• sentence2 – o segundo texto
• score – apenas em train.csv, um valor real entre 0 e 5 que indica a similaridade

O objetivo final é predizer score para cada linha em test.csv.

📝 Tarefas

Para as primeiras subtarefas, você deve analisar os dados fornecidos em train.csv e test.csv
e extrair diferentes informações relevantes sobre as sentenças do teste.

Subtarefa 1 (10 pontos)

Calcule o comprimento de cada sentença (sentence1 e sentence2) para cada linha do conjunto de teste
e rotule o par com base no comprimento médio:

• Short se a média < 50
• Medium se 50 ≤ média < 100
• Long se a média ≥ 100

Subtarefa 2 (15 pontos)

Para cada linha do teste, calcule o número de palavras de cada sentença (sentence1 e sentence2) e determine o número total pela fórmula:

1número_total = nr_palavras(sentence1) + nr_palavras(sentence2)

Subtarefa 3 (15 pontos)

Estabeleça a diferença absoluta entre o comprimento de sentence1 e o comprimento de sentence2
para cada linha do teste.

Em outras palavras, para cada linha devemos calcular:

1|nr_caracteres(sentence1) - nr_caracteres(sentence2)|

Subtarefa 4 (60 pontos)

Construa um modelo de aprendizado de máquina capaz de predizer o valor numérico score
para cada linha em test.csv.

A avaliação final será feita usando MAE (Mean Absolute Error), calculado assim:

🧮 Avaliação

A métrica para a Subtarefa 4 é:

• MAE (Mean Absolute Error) (quanto menor o valor, maior será o número de pontos).
• Se o modelo obtiver MAE ≤ 0.65, a solução recebe 60 pontos.
• Se o modelo obtiver MAE ≥ 2.0, a solução recebe 0 pontos.
• Para valores intermediários de MAE, a pontuação é calculada proporcionalmente.

Para as subtarefas 1-3, as respostas são avaliadas exatamente.

📌 Notas

• Tratamentos como tokenização, embeddings, modelos pré-treinados são permitidos.

📄 Formato do arquivo de submissão

O arquivo submission.csv deve conter 4 linhas para cada linha do teste,
correspondentes às 4 subtarefas.

Estrutura:

1subtaskID datapointID answer

Significado das colunas:

• subtaskID – um número entre 1 e 4

• datapointID – sampleID do teste

• answer – o resultado:

  • Subtarefa 1: Short / Medium / Long
  • Subtarefa 2: número inteiro
  • Subtarefa 3: número inteiro
  • Subtarefa 4: valor real (score predito)

Exemplo para um sampleID = 1714:

1subtaskID datapointID answer21 1714 Medium32 1714 1543 1714 354 1714 3.74

Sucesso! O Grande Conselho dos Arquivistas deposita suas esperanças em vocês para reviver o Oráculo da similaridade! 🧙‍♂️