Миссия Juditis - 11/12

Контекст

В результате космического феномена под названием Конвергенция Хаоса персонажи из нескольких вселенных комиксов были объединены в одну реальность. Межпространственное агентство мониторинга героев (AIME) централизовало данные об этих героях, чтобы иметь возможность быстро анализировать их профили и принимать автоматические решения.

Записанные данные описывают как общие характеристики персонажей, так и их способности и связанные с ними числовые показатели. Анализ этих данных важен для:

• быстрого извлечения описательной статистики о наборе данных;
• восстановления недостающей информации для новых персонажей;
• классификации способностей на основе других доступных черт.

Для решения задачи вам предоставлены два файла:

• train.csv – содержит размеченные примеры, используемые для анализа и обучения моделей;
• test.csv – содержит те же переменные, но не включает столбцы powerstats__combat и Super Strength, которые необходимо предсказать в Task 3 и Task 4.

Вселенные героев

В наборе данных представлены персонажи из нескольких издательских вселенных, например:

• Marvel Comics
• DC Comics
• Dark Horse Comics
• Image Comics
• Shueisha
• George Lucas
• Microsoft
• J. K. Rowling

В этой задаче понятие «вселенная» соответствует значению в столбце Publisher.

Описание набора данных

Каждая строка в файлах train.csv и test.csv соответствует одному персонажу.

Набор данных содержит:

• уникальный идентификатор: id;
• описательные переменные о персонаже;
• бинарные переменные, указывающие на наличие или отсутствие определенных способностей;
• непрерывные числовые переменные типа powerstats__...;
• дополнительные столбцы с информацией о героях.

Примеры столбцов:

Задания

Task 1 - Количество уникальных вселенных (10 баллов)

Используя данные из файла train.csv, определите, сколько уникальных значений содержится в столбце Publisher.

Task 2 - Издатель с наибольшим количеством положительных героев (10 баллов)

Используя данные из файла train.csv, рассмотрите только тех персонажей, у которых Alignment = good.

Определите издателя, у которого больше всего положительных героев.

В случае равенства выбирается издатель, который идет первым в алфавитном порядке.

Task 3 - Предсказание powerstats__combat (40 баллов)

На основе данных из файла train.csv обучите модель, способную предсказывать значения атрибута powerstats__combat для каждого персонажа из test.csv.

Task 4 - Предсказание способности Super Strength (40 баллов)

На основе данных из файла train.csv обучите модель, способную предсказывать значения атрибута Super Strength для каждого персонажа из test.csv.

Допустимые значения (предсказания должны быть финальными бинарными метками, а не вероятностями):

10.021.0

Формат файла для отправки

Файл для отправки должен быть в формате csv и содержать следующие столбцы:

Возможные значения для subtaskID:

Для Task 1 и Task 2 ответ является глобальным и передается с использованием специального значения GLOBAL в столбце id.

Пример файла submission.csv

1id,subtaskID,answer2GLOBAL,task1,13GLOBAL,task2,Cartoon Network443,task3,2.57550,task3,5.1761,task4,0.074,task4,1.0

Оценка

Общий балл составляет 100 баллов.

Task 1 (10 баллов)

Оценка производится путем точного сравнения отправленного значения с правильным ответом.

Task 2 (10 баллов)

Оценка производится путем точного сравнения отправленного значения с правильным ответом.

Task 3 (40 баллов)

Для Task 3 используется метрика MAE (Mean Absolute Error).

Баллы начисляются следующим образом:

• если MAE ≤ 12.0, начисляется 40 баллов;
• если MAE ≥ 30.0, начисляется 0 баллов;
• для промежуточных значений баллы интерполируются линейно.

Используемая формула:

1score_task3 = 40 × (30 - MAE) / (30 - 12), для 12 < MAE < 30

Task 4 (40 баллов)

Для Task 4 используется метрика Accuracy.

Баллы начисляются следующим образом:

• если Accuracy ≥ 0.90, начисляется 40 баллов;
• если Accuracy ≤ 0.55, начисляется 0 баллов;
• для промежуточных значений баллы интерполируются линейно.

Используемая формула:

1score_task4 = 40 × (Accuracy - 0.55) / (0.90 - 0.55), для 0.55 < Accuracy < 0.90