BAC sob lupa

Contexto

Ao longo dos anos, os resultados do exame de Bacharelado oferecem uma imagem detalhada sobre o desempenho dos liceus da Romênia. Analisando dados históricos de vários anos, podemos descobrir tendências, a evolução do desempenho escolar e, às vezes, resultados que fogem do padrão.

Neste contexto, o objetivo deste problema é analisar estatisticamente o desempenho dos liceus no Bacharelado, construir modelos preditivos e identificar resultados atípicos usando métodos de Machine Learning.

Descrição dos dados

Para resolver os requisitos deste problema você tem acesso a um dataset estruturado na forma de dois arquivos csv: train.csv e test.csv. Este conjunto de dados contém resultados agregados dos liceus em diferentes provas do exame de Bacharelado, para o período 2014–2023.

Cada linha do conjunto de dados (seja do conjunto de treinamento ou do conjunto de teste) representa os resultados de um liceu, para uma matéria, em um ano.

Colunas disponíveis:

• id – identificador único da linha
• an – ano do exame
• liceu – nome do liceu
• judet – condado onde se localiza o liceu
• materie – disciplina do Bacharelado
• medie – média das notas obtidas pelos alunos do liceu na disciplina respectiva
• procent_reusita – percentual de alunos que foram aprovados na prova
• numar_candidati – número de candidatos
• preferinta_materie – percentual de alunos que escolheram a disciplina respectiva
• anomalie - pode ter o valor 0 se não for considerada uma situação anormal ou o valor 1 se a situação for incomum.

Observação: Para cada liceu temos também algumas estatísticas gerais. Para essas, na coluna materie encontramos o valor GENERAL.

O arquivo train.csv contém as estatísticas provenientes do período 2014-2022, e o arquivo test.csv contém os dados para o ano 2023, porém as colunas medie e anomalie não estão disponíveis.

Requisitos

Requisito 1 - Identificação da matéria preferida (10 pontos)

Identifique qual foi a matéria com a maior preferência no ano 2023 do COLEGIUL NATIONAL "UNIREA" FOCSANI, se excluirmos a matéria LIMBA ROMANA que foi obrigatória para todos os candidatos.

Requisito 2 - Identificação do ano próspero para Informática (10 pontos)

Identifique em que ano do período 2014-2022 a matéria INFORMATICA MI C-C++ teve a maior popularidade no COLEGIUL NATIONAL "UNIREA" FOCSANI. Consideramos que a popularidade é dada pelo percentual da coluna preferinta_materie (quanto maior este percentual, mais popular consideraremos que a matéria foi).

Requisito 3 - Estimativa do desempenho dos liceus (40 pontos)

Usando as informações disponíveis no arquivo train.csv, estime o valor da média obtida para cada linha do arquivo test.csv (ano 2023).

Para este requisito você pode utilizar qualquer método de análise estatística ou modelagem baseada nos dados históricos, levando em conta:

• a matéria analisada,
• o histórico do liceu,
• a evolução no tempo dos resultados,
• o contexto geral dos desempenhos a nível de condado ou nacional.

O objetivo é obter estimativas o mais próximas possível dos valores reais.

Requisito 4 - Identificação de resultados atípicos (40 pontos)

Analise os dados históricos do período 2014–2022 e decida, para cada linha do arquivo test.csv, se o resultado correspondente ao ano 2023 é:

• um normal, ou
• um atípico, que se desvia significativamente do comportamento habitual.

Na tomada de decisão você pode levar em conta:

• o histórico do liceu respectivo,
• as variações de um ano para outro,
• as diferenças entre matérias,
• a comparação com outros liceus similares.

O resultado final para cada linha deve ser um rótulo binário:

• 0 - resultado normal
• 1 - resultado atípico

Formato da submissão

Para a avaliação automática você deve carregar um arquivo em formato csv com a seguinte estrutura:

• id – identificador da linha (correspondente ao do test.csv)
  • para a tarefa 1, você usará o valor 1 para id
  • para a tarefa 2, você usará o valor 2 para id
• subtaskID – identificador do requisito:
  • 1 para identificação da matéria preferida (requisito 1)
  • 2 para identificação do ano próspero para Informática (requisito 2)
  • 3 para estimativa da média (requisito 3)
  • 4 para identificação de resultados atípicos (requisito 4)
• answer – resposta correspondente ao requisito:
  • para subtaskID = 1: nome da matéria exatamente como aparece no dataset
  • para subtaskID = 2: o ano
  • para subtaskID = 3: um valor numérico (estimativa da média)
  • para subtaskID = 4: 0 ou 1

Avaliação

Para os requisitos 1–2 a avaliação é feita exatamente (por comparação).

Para o requisito 3 a avaliação é feita usando Mean Absolute Error (MAE).

Regras:

• MAE < 0.3 → pontuação máxima
• MAE > 1.0 → 0 pontos
• Para valores entre esses dois limiares, a pontuação é concedida proporcionalmente.

Para o requisito 4, a pontuação é concedida de acordo com as seguintes regras:

• AUC ≥ 0.95 → 40 pontos
• AUC ≤ 0.70 → 0 pontos
• O intervalo entre eles: pontuação proporcional

⬇️ Baixar Starter Kit