Chirper和Melon Husk的帝国 (Y)

Chirper 和 Melon Husk 的帝国 (Y)

背景

在一个平行的社交网络世界中，Chirper 是最受欢迎的微消息平台。
最近，该平台被著名的（略显古怪的）Melon Husk 收购，他决定将其重新品牌化为 Y。

为了让 Y 更清洁、更友好，Melon Husk 要求你的数据科学团队构建一个分类模型，自动检测有问题的 chirp（垃圾信息、无关内容或噪音），以便从信息流中过滤掉这些内容。

你收到了一组历史 chirp 数据，需要构建一个能够对新 chirp 进行分类的模型。

你可以使用两个文件：

• train.csv – 带有标签 label 的历史 chirp（problematic = 1 / normal = 0）
• test.csv – 没有标签的新 chirp

主要目标：预测 chirp 为有问题的概率
（值在 0 和 1 之间，其中 0 = 确定正常的 chirp，1 = 确定有问题的 chirp）。

📊 数据集

每一行代表在 Chirper Y 上发布的一个 chirp，具有以下属性：

• id – chirp 的唯一标识符
• chirp – chirp 的文本内容
• label – 仅在 train.csv 中，1（有问题）/ 0（正常）

最终目标：为 test.csv 中的行预测 label。

📝 任务

前两个子任务验证对 chirp 的简单分析。
最后一个子任务评估分类模型的性能。

子任务 1（10 分）

确定每个 chirp 的字符数长度。

为此子任务显示一个整数。

子任务 2（15 分）

计算 chirp 中字符 # 的出现次数
（过度标签的重要指标，垃圾信息发送者的最爱 😄）。

子任务 3（75 分）

构建一个分类模型，为测试集中的每一行预测 chirp
为有问题的概率（p ∈ [0,1]）。

评估使用 ROC 曲线 和 AUC（ROC 曲线下面积）。

🧮 评估

• AUC ≥ 0.95 → 75 分
• AUC ≤ 0.80 → 0 分
• 两者之间的区间：按比例计分

子任务 1-2 通过精确比较进行评估。

📄 提交文件格式

submission.csv 文件必须包含测试集中每一行对应的 3 行，
对应 3 个子任务。

结构：

1subtaskID,datapointID,answer

其中：

• subtaskID – 1、2 或 3
• datapointID – id 值
• answer – 取决于任务：
  • 子任务 1：chirp 长度（整数）
  • 子任务 2：字符 # 的出现次数（整数）
  • 子任务 3：chirp 为有问题的概率（0-1 之间的实数）

id = 25758 的示例：

1subtaskID,datapointID,answer21,25758,2132,25758,043,25758,0.083

📊 评估指标：ROC AUC 📈

对于子任务 3，评估使用 ROC AUC（ROC 曲线下面积）。
这是一个综合衡量分类器在所有可能决策阈值下性能的单一指标。

ROC AUC 如何计算？

1. 绘制 ROC 曲线，表示：

   • TPR（真正例率） – 正确检测到的有问题 chirp 的比例
   • FPR（假正例率） – 错误标记为有问题的正常 chirp 的比例

2. 曲线下面积（AUC） 使用梯形法则计算：

   • 曲线使用 FPR 值处的垂直线和 TPR 值处的水平线分割成梯形
   • 将梯形面积相加得到 AUC 的最终值

3. 分数解释：

   • ROC AUC = 1 🏆 → 完美分类器，Y 成为 Melon Husk 的梦想
   • ROC AUC = 0.5 🎲 → 随机分类器，和 Chirper 上的投票一样有用
   • 0.5 < ROC AUC < 1 📈 → 模型区分正常和有问题 chirp 的能力