Chirper e o império de Melon Husk (Y)

Chirper e o império de Melon Husk (Y)

Contexto

Num mundo paralelo das redes sociais, Chirper é a plataforma de micro-mensagens mais popular.
Recentemente, a plataforma foi comprada pelo famoso (e ligeiramente excêntrico) Melon Husk, que decidiu rebatizá-la com o nome de Y.

Para tornar Y mais limpo e mais amigável, Melon Husk pede à sua equipe de data science para construir um modelo de classificação que detecte automaticamente chirps problemáticos (spam, conteúdo irrelevante ou ruído), para que possam ser filtrados do feed.

Você recebeu um conjunto de chirps históricos e precisa construir um modelo
que possa classificar novos chirps.

Foram disponibilizados dois arquivos:

• train.csv – chirps históricos com o rótulo label (problematic = 1 / normal = 0)
• test.csv – novos chirps, sem rótulo

Objetivo principal: predição da probabilidade de um chirp ser problemático
(valor entre 0 e 1, onde 0 = chirp certamente normal, 1 = chirp certamente problemático).

📊 Conjunto de dados

Cada linha representa um chirp publicado no Chirper Y, com os seguintes atributos:

• id – identificador único do chirp
• chirp – texto do chirp
• label – apenas em train.csv, 1 (problemático) / 0 (normal)

Objetivo final: prever label para as linhas em test.csv.

📝 Tarefas

As duas primeiras subtarefas verificam análise simples dos chirps.
A última subtarefa avalia o desempenho do modelo de classificação.

Subtarefa 1 (10 pontos)

Determine o comprimento de cada chirp como número de caracteres.

Exiba para esta subtarefa um número inteiro.

Subtarefa 2 (15 pontos)

Conte quantas ocorrências do caractere # existem no chirp
(indicador importante para hashtags excessivas, adoradas por spammers 😄).

Subtarefa 3 (75 pontos)

Construa um modelo de classificação que preveja a probabilidade de um chirp
ser problemático (p ∈ [0,1]) para cada linha do teste.

A avaliação é feita usando curva ROC e AUC (Area Under the ROC Curve).

🧮 Avaliação

• AUC ≥ 0.95 → 75 pontos
• AUC ≤ 0.80 → 0 pontos
• Intervalo entre eles: pontuação proporcional

Subtarefas 1–2 são avaliadas exatamente (por comparação).

📄 Formato do arquivo de submissão

O arquivo submission.csv deve conter 3 linhas para cada linha do teste,
correspondentes às 3 subtarefas.

Estrutura:

1subtaskID,datapointID,answer

onde:

• subtaskID – 1, 2 ou 3
• datapointID – valor do id
• answer – depende da tarefa:
  • Subtarefa 1: comprimento do chirp (número inteiro)
  • Subtarefa 2: número de ocorrências do caractere # (número inteiro)
  • Subtarefa 3: probabilidade do chirp ser problemático (número real 0–1)

Exemplo para id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Métrica de avaliação: ROC AUC 📈

Para Subtarefa 3, a avaliação é feita usando ROC AUC (Area Under the ROC Curve).
Esta é uma medida única que sintetiza o desempenho de um classificador
para todos os limiares de decisão possíveis.

Como se calcula ROC AUC?

1. Traça-se a curva ROC, que representa:

   • TPR (True Positive Rate) – proporção de chirps problemáticos detectados corretamente
   • FPR (False Positive Rate) – proporção de chirps normais marcados erroneamente como problemáticos

2. A área sob a curva (AUC) é calculada usando a regra dos trapézios:

   • A curva é dividida em trapézios usando linhas verticais nos valores FPR
     e linhas horizontais nos valores TPR
   • Somam-se as áreas dos trapézios para obter o valor final da AUC

3. Interpretação da pontuação:

   • ROC AUC = 1 🏆 → classificador perfeito, Y torna-se o sonho de Melon Husk
   • ROC AUC = 0.5 🎲 → classificador aleatório, tão útil quanto uma enquete no Chirper
   • 0.5 < ROC AUC < 1 📈 → quão bem o modelo separa chirps normais dos problemáticos