Sistema automatizado de detecção de emails spam

💌 Sistema automatizado de detecção de emails spam 📧

Sua empresa deseja proteger os usuários de emails indesejados (spam).
Para isso, foi decidida a construção de um sistema automático que identifique
emails spam e os separe dos legítimos (nonspam).

Você recebeu um conjunto de emails rotulados e precisa construir um modelo
que possa classificar novos emails.

Foram disponibilizados dois arquivos:

• train.csv - emails históricos com o rótulo label (spam = 1 / nonspam = 0)
• test.csv - emails novos, sem rótulo

Objetivo principal: predição da probabilidade de um email ser spam (valor entre 0 e 1, onde 0 = nonspam certo, 1 = spam certo).

📊 Conjunto de dados

Cada linha representa um email, com os seguintes atributos:

• sample_id - identificador único
• text - conteúdo do email
• label - apenas em train.csv, 1 (spam)/ 0 (nonspam)

Objetivo final: predizer label para as linhas de test.csv.

📝 Tarefas

As duas primeiras subtarefas verificam a análise simples dos emails.
A última subtarefa avalia o modelo de classificação.

Subtarefa 1 (10 pontos)

Determine o comprimento de cada email como número de caracteres.

Exiba para esta subtarefa um número inteiro.

Subtarefa 2 (15 pontos)

Conte quantas ocorrências da palavra free existem no email.

Subtarefa 3 (75 pontos)

Construa um modelo de classificação que prediga a probabilidade de um email ser spam (p ∈ [0,1]) para cada linha do teste.

A avaliação é feita usando curva ROC e AUC (Area Under the ROC Curve).

🧮 Avaliação

• AUC ≥ 0.95 → 75 pontos
• AUC ≤ 0.80 → 0 pontos
• Intervalo entre eles: pontuação proporcional

Subtarefas 1–2 são avaliadas exatamente (por comparação).

📄 Formato do arquivo de submissão

O arquivo submission.csv deve conter 3 linhas para cada linha do teste,
correspondentes às 3 subtarefas.

Estrutura:

1subtaskID, datapointID, answer

onde:

• subtaskID - 1, 2 ou 3
• datapointID - valor de sample_id
• answer - depende da tarefa:
  • Subtarefa 1: comprimento do email (número inteiro)
  • Subtarefa 2: número de ocorrências da palavra free (número inteiro)
  • Subtarefa 3: probabilidade do email ser spam (número real 0–1)

Exemplo para sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Métrica de avaliação: ROC AUC 📈

Para a Subtarefa 3, a avaliação é feita usando ROC AUC (Area Under the ROC Curve).
Esta é uma medida única que sintetiza o desempenho de um classificador para todos os limiares de decisão possíveis.

Como se calcula ROC AUC?

1. Traça-se a curva ROC, que representa:
   • TPR (True Positive Rate) - taxa correta de aprovação das solicitações aprovadas
   • FPR (False Positive Rate) - taxa de solicitações rejeitadas incorretamente aprovadas

2. A área sob a curva (AUC) é calculada usando a regra dos trapézios:
   • A curva é dividida em trapézios usando linhas verticais nos valores FPR e linhas horizontais nos valores TPR
   • Somam-se as áreas dos trapézios para obter o valor final da AUC

3. Interpretação da pontuação:
   • ROC AUC = 1 🏆 → classificador perfeito, todas as solicitações são classificadas corretamente
   • ROC AUC = 0.5 🎲 → classificador aleatório, sem poder preditivo
   • 0.5 < ROC AUC < 1 📈 → quão bem o classificador separa as classes