Chirper y el imperio de Melon Husk (Y)

Chirper y el imperio de Melon Husk (Y)

Contexto

En un mundo paralelo de las redes sociales, Chirper es la plataforma de micro-mensajes más popular.
Recientemente, la plataforma fue comprada por el célebre (y ligeramente excéntrico) Melon Husk, quien decidió rebrandearla bajo el nombre de Y.

Para hacer Y más limpia y amigable, Melon Husk pide a tu equipo de data science que construya un modelo de clasificación que detecte automáticamente chirp-s problemáticos (spam, contenido irrelevante o ruido), para que puedan ser filtrados del feed.

Has recibido un conjunto de chirp-s históricos y debes construir un modelo
que pueda clasificar chirp-s nuevos.

Se han puesto a tu disposición dos archivos:

• train.csv – chirp-s históricos con la etiqueta label (problematic = 1 / normal = 0)
• test.csv – chirp-s nuevos, sin etiqueta

Objetivo principal: predicción de la probabilidad de que un chirp sea problemático
(valor entre 0 y 1, donde 0 = chirp seguramente normal, 1 = chirp seguramente problemático).

📊 El conjunto de datos

Cada fila representa un chirp publicado en Chirper Y, con los siguientes atributos:

• id – identificador único del chirp
• chirp – el texto del chirp
• label – solo en train.csv, 1 (problemático) / 0 (normal)

Objetivo final: predecir label para las filas en test.csv.

📝 Tareas

Las primeras dos subtareas verifican el análisis simple de los chirp-s.
La última subtarea evalúa el rendimiento del modelo de clasificación.

Subtarea 1 (10 puntos)

Determina la longitud de cada chirp como número de caracteres.

Muestra para esta subtarea un número entero.

Subtarea 2 (15 puntos)

Cuenta cuántas apariciones del carácter # existen en el chirp
(indicador importante para hashtags excesivos, amados por los spammers 😄).

Subtarea 3 (75 puntos)

Construye un modelo de clasificación que prediga la probabilidad de que un chirp
sea problemático (p ∈ [0,1]) para cada fila en test.

La evaluación se hace usando curva ROC y AUC (Area Under the ROC Curve).

🧮 Evaluación

• AUC ≥ 0.95 → 75 puntos
• AUC ≤ 0.80 → 0 puntos
• El intervalo entre ellos: puntaje proporcional

Las subtareas 1–2 se evalúan exactamente (por comparación).

📄 Formato del archivo de submisión

El archivo submission.csv debe contener 3 líneas para cada fila en test,
correspondientes a las 3 subtareas.

Estructura:

1subtaskID,datapointID,answer

donde:

donde:

• subtaskID – 1, 2 o 3
• datapointID – el valor id
• answer – depende de la tarea:
  • Subtarea 1: longitud del chirp (número entero)
  • Subtarea 2: número de apariciones del carácter # (número entero)
  • Subtarea 3: probabilidad de que el chirp sea problemático (número real 0–1)

Ejemplo para id = 25758:

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 Métrica de evaluación: ROC AUC 📈

Para la Subtarea 3, la evaluación se hace usando ROC AUC (Area Under the ROC Curve).
Esta es una medida única que sintetiza el rendimiento de un clasificador
para todos los umbrales de decisión posibles.

¿Cómo se calcula ROC AUC?

1. Se traza la curva ROC, que representa:

   • TPR (True Positive Rate) – proporción de chirp-s problemáticos detectados correctamente
   • FPR (False Positive Rate) – proporción de chirp-s normales marcados incorrectamente como problemáticos

2. El área bajo la curva (AUC) se calcula usando la regla de los trapecios:

   • La curva se divide en trapecios usando las líneas verticales en los valores FPR
     y las líneas horizontales en los valores TPR
   • Se suman las áreas de los trapecios para obtener el valor final del AUC

3. Interpretación del puntaje:

   • ROC AUC = 1 🏆 → clasificador perfecto, Y se convierte en el sueño de Melon Husk
   • ROC AUC = 0.5 🎲 → clasificador aleatorio, tan útil como una encuesta en Chirper
   • 0.5 < ROC AUC < 1 📈 → qué tan bien separa el modelo los chirp-s normales de los problemáticos