Редакция новостей

История

Редакция международного информационного агентства ежедневно обрабатывает тысячи статей из различных областей: экономики, политики, науки, технологий и окружающей среды. Для быстрого архивирования и распространения информации каждая статья должна быть отнесена к определенной тематической категории.

Из-за технического сбоя метки некоторых недавних статей были утеряны. Редакция обращается к вам с просьбой создать интеллектуальную систему, которая сможет автоматически классифицировать новостные статьи на основе их содержания.

Требование

Даны два входных файла:

• train.csv – содержит новостные статьи с известными категориями
• test.csv – содержит новостные статьи без категорий

Каждая статья идентифицируется уникальным id и имеет связанный с ней текст.
Используя данные из train.csv, необходимо построить модель классификации, которая предскажет метку (label) каждой статьи из test.csv.

Результат должен быть сохранен в файле submission.csv.

Формат файлов

train.csv

Содержит следующие столбцы:

• id – уникальный идентификатор статьи (строка, например 000001)
• text – содержание статьи
• label – категория статьи (целое число)

Пример:

1id,text,label2000001,"Wall St. Bears Claw Back Into the Black (Reuters)...",23000002,"Carlyle Looks Toward Commercial Aerospace (Reuters)...",24000003,"Oil and Economy Cloud Stocks' Outlook (Reuters)...",2

test.csv

Содержит следующие столбцы:

• id – уникальный идентификатор
• text – содержание статьи

Пример:

1id,text2120001,"Fears for T N pension after talks Unions represent..."3120002,"The Race is On: Second Private Team Sets Launch..."4120003,"Ky. Company Wins Grant to Study Peptides (AP)..."

submission.csv

Генерируемый файл для отправки должен быть в формате csv и содержать следующее:

• id – идентификатор статьи
• label – предсказанная категория

Пример:

1id,label2120001,23120002,34120003,3

Замечания

• Метки являются целыми числовыми значениями, и их значение должно быть выведено исключительно из train.csv.
• Разрешены любые методы обработки естественного языка и машинного обучения.
• Оценка решений производится на основе точности предсказаний.

Оценка

Предсказания будут сравнены с реальными метками и будет вычислена точность:

1accuracy = (количество_правильных_предсказаний / общее_количество_предсказаний)

Итоговый балл рассчитывается на основе полученной точности по следующим правилам:

• accuracy ≥ 0.98 → 100 баллов
• accuracy ≤ 0.9 → 0 баллов
• Для промежуточных значений начисляется пропорциональный балл от 0 до 100.