垃圾邮件自动检测系统

💌 垃圾邮件自动检测系统 📧

你的公司希望保护用户免受不需要的邮件（垃圾邮件）的侵害。
为此，决定构建一个自动系统来识别
垃圾邮件并将其与合法邮件（非垃圾邮件）分离。

你收到了一组带标签的邮件，需要构建一个模型
来对新邮件进行分类。

为你提供了两个文件：

• train.csv - 带有标签 label 的历史邮件（spam = 1 / nonspam = 0）
• test.csv - 新邮件，无标签

主要目标：预测邮件为垃圾邮件的概率（值在 0 和 1 之间，其中 0 = 确定非垃圾邮件，1 = 确定垃圾邮件）。

📊 数据集

每一行代表一封邮件，具有以下属性：

• sample_id - 唯一标识符
• text - 邮件内容
• label - 仅在 train.csv 中，1（垃圾邮件）/ 0（非垃圾邮件）

最终目标：预测 test.csv 中行的 label。

📝 任务

前两个子任务验证邮件的简单分析。
最后一个子任务评估分类模型。

子任务 1（10 分）

确定每封邮件的长度（字符数）。

为此子任务显示一个整数。

子任务 2（15 分）

计算邮件中单词 free 的出现次数。

子任务 3（75 分）

构建一个分类模型，预测测试集中每一行邮件为垃圾邮件的概率（p ∈ [0,1]）。

评估使用 ROC 曲线 和 AUC（ROC 曲线下面积）。

🧮 评估

• AUC ≥ 0.95 → 75 分
• AUC ≤ 0.80 → 0 分
• 两者之间的区间：按比例计分

子任务 1-2 进行精确评估（通过比较）。

📄 提交文件格式

文件 submission.csv 必须包含测试集中每一行对应的 3 行，
对应 3 个子任务。

结构：

1subtaskID, datapointID, answer

其中：

• subtaskID - 1、2 或 3
• datapointID - sample_id 的值
• answer - 取决于任务：
  • 子任务 1：邮件长度（整数）
  • 子任务 2：单词 free 的出现次数（整数）
  • 子任务 3：邮件为垃圾邮件的概率（0-1 之间的实数）

sample_id = 00042 的示例：

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 评估指标：ROC AUC 📈

对于 子任务 3，评估使用 ROC AUC（ROC 曲线下面积）。
这是一个综合衡量分类器在所有可能决策阈值下性能的单一指标。

ROC AUC 如何计算？

1. 绘制 ROC 曲线，表示：
   • TPR（真正率） - 正确批准已批准申请的比率
   • FPR（假正率） - 错误批准被拒绝申请的比率

2. 曲线下面积（AUC） 使用 梯形法则 计算：
   • 曲线使用 FPR 值处的垂直线和 TPR 值处的水平线分割成梯形
   • 将梯形面积相加得到 AUC 的最终值

3. 分数解释：
   • ROC AUC = 1 🏆 → 完美分类器，所有申请都被正确分类
   • ROC AUC = 0.5 🎲 → 随机分类器，无预测能力
   • 0.5 < ROC AUC < 1 📈 → 分类器分离类别的能力