识别文本的语言

✍️ 文本语言识别 🌐

在全球化的世界中，消息来自世界各个角落，可能用各种语言编写。为了自动处理这些文本（例如，在自动翻译应用程序中），识别每个文本的语言是至关重要的。

你的任务是开发一个自动系统，能够确定文本的语言，从基于标记示例集训练模型开始。

🌍 可能的语言

自动系统需要支持以下语言：

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 数据集

你有两个CSV文件：

• train.csv - 包含文本及其语言
• test.csv - 包含需要模型预测语言的文本

train.csv中的每一行包含以下列：

• SampleID - 文本的唯一标识符
• Text - 原始文本
• language - 文本的语言

示例：

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

test.csv中的每一行包含以下列：

• SampleID - 文本的唯一标识符
• Text - 需要预测语言的文本

示例：

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 任务 (100分)

构建一个系统，能够识别test.csv中文本的语言。

预测结果需要保存在submission.csv文件中，格式如下：

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

其中：

• SampleID - test.csv中文本的唯一标识符
• language - 你的系统预测的语言，必须是以下可能语言列表中的一种：

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 评估

预测结果将与真实语言进行比较，计算准确率：

1accuracy = (正确预测数量 / 总预测数量)

最终分数基于获得的准确率，使用以下规则计算：

• accuracy ≥ 0.98 → 100分
• accuracy ≤ 0.9 → 0分
• 对于中间值，按比例给出0到100之间的分数。