文本纠错

✍️ 快速通信时代的文本纠错 💬

在一个消息越来越短、在手机上匆忙输入并在社交网络上即时分发的世界里，书面语言的质量开始下降。语法错误、遗漏词汇和模糊表述变得越来越频繁。

为了分析和改进这些文本，一个教育平台正在开发一个自动系统，能够将粗心书写的句子转换为正确清晰的版本。你的任务是通过提出一个从语法角度纠错文本的自动系统来帮助他们。

📁 数据集

你有两个文件可用：

• train.csv — 包含错误文本及其纠正版本
• test.csv — 包含需要模型提出纠正版本的错误文本

train.csv 中的每一行都有以下列：

• SampleID — 文本的唯一标识符
• Text — 原始句子，用户书写的样子
• RevisedText — 专家纠正的版本

示例：

1SampleID,Text,RevisedText2747, "She forgot her umbrella it started to rain.", "She forgot her umbrella, and then it started to rain."31382, "He could have bought the house if he has enough money.", "He could have bought the house if he had enough money."4241, "I have a meeting with a principal of a school.", "I have a meeting with the principal of the school."

🧠 任务（100分）

构建一个系统，为 test.csv 中的句子生成语法正确的版本。

评估系统将通过结合两个基本方面来计算最终分数：

• 语义相似性
• 词汇差异

评估公式为：

1final_score = 0.7 * cosine_similarity + 0.3 * edit_distance_score

• final_score ≥ 0.95 → 100分
• final_score ≤ 0.9 → 0分
• 中间值按比例给分。

🔹 文本纠错中的余弦相似度和编辑距离

为了构建自动文本纠错系统，评估必须同时考虑句子的含义和确切的词汇差异。这就是 cosine_similarity 和 edit_distance 的作用。

余弦相似度

定义：
余弦相似度通过计算两个向量之间角度的余弦值来测量两个向量之间的相似性。公式为：

• A * B 是向量的点积
• |A| 和 |B| 是它们的范数

在NLP中：

• 每个句子都可以用向量嵌入表示（例如BERT、Sentence-BERT）。
• 余弦相似度表示句子在语义上的相似程度，即使它们包含的词汇不同。

示例：

1Text 1: "She forgot her umbrella."2Text 2: "She left her umbrella behind."

• 语义上：相同的想法 → 高余弦相似度

相关性：
确保纠正的文本保持与原文本相同的想法。

编辑距离（莱文斯坦距离）

定义：
编辑距离测量将一个字符串转换为另一个字符串所需的最少操作次数（插入、删除、替换）。

示例：

1原文本: "She forgot her umbrella it started to rain."2纠正文本: "She forgot her umbrella, and then it started to rain."

• 操作：插入逗号 + 添加连词"and then"
• 编辑距离 = 6个字符

相关性：
反映词汇差异和语法正确性。

结合两者的最终指标

最终分数公式：

• 0.7 余弦相似度： 优先考虑句子的含义
• 0.3 编辑距离： 验证词汇忠实度和正确性

这种组合确保纠正的文本既语法正确，又在语义上与原文本相似。

📄 提交文件格式

submission.csv 文件必须包含测试中每个文本的一行。

文件的第一行包含以下内容：

1DatapointID, RevisedText

其中：

• DatapointID - 测试中的 SampleID
• RevisedText - 文本的纠正版本

示例（SampleID = 1557）：

11557, "He didn't eat any breakfast this morning."