Misja Juditis - 11/12

Kontekst

W wyniku zjawiska kosmicznego zwanego Konwergencją Chaosu, postacie z wielu uniwersów komiksowych zostały połączone w jedną rzeczywistość. Międzywymiarowa Agencja Monitorowania Bohaterów (AIME) scentralizowała dane o tych bohaterach, aby móc szybko analizować ich profile i podejmować automatyczne decyzje.

Zarejestrowane dane opisują zarówno ogólną charakterystykę postaci, jak i ich umiejętności oraz powiązane statystyki numeryczne. Analiza tych danych jest ważna dla:

• szybkiego wyodrębniania statystyk opisowych dotyczących zbioru danych;
• rekonstrukcji brakujących informacji dla nowych postaci;
• klasyfikacji umiejętności na podstawie innych dostępnych cech.

Do rozwiązania problemu będziesz mieć do dyspozycji dwa pliki:

• train.csv – zawiera etykietowane przykłady, używane do analizy i trenowania modeli;
• test.csv – zawiera te same zmienne, ale nie zawiera kolumn powerstats__combat oraz Super Strength, które muszą zostać przewidziane w Zadaniu 3 i Zadaniu 4.

Uniwersa bohaterów

W zbiorze danych pojawiają się postacie pochodzące z wielu uniwersów wydawniczych, na przykład:

• Marvel Comics
• DC Comics
• Dark Horse Comics
• Image Comics
• Shueisha
• George Lucas
• Microsoft
• J. K. Rowling

W tym problemie pojęcie „uniwersum” odpowiada wartości w kolumnie Publisher.

Opis zbioru danych

Każdy wiersz w plikach train.csv i test.csv odpowiada jednej postaci.

Zbiór danych zawiera:

• unikalny identyfikator: id;
• zmienne opisowe o postaci;
• zmienne binarne wskazujące na obecność lub brak określonych umiejętności;
• ciągłe zmienne numeryczne typu powerstats__...;
• dodatkowe kolumny z informacjami o bohaterach.

Przykłady kolumn:

Wymagania

Zadanie 1 - Liczba unikalnych uniwersów (10 punktów)

Korzystając z danych w pliku train.csv, określ, ile unikalnych wartości pojawia się w kolumnie Publisher.

Zadanie 2 - Wydawca z największą liczbą pozytywnych bohaterów (10 punktów)

Korzystając z danych w pliku train.csv, weź pod uwagę tylko postacie, dla których Alignment = good.

Określ, który wydawca posiada najwięcej pozytywnych bohaterów.

W przypadku remisu wybierz wydawcę, który jest pierwszy w porządku alfabetycznym.

Zadanie 3 - Predykcja powerstats__combat (40 punktów)

Na podstawie danych z pliku train.csv wytrenuj model zdolny do przewidywania wartości atrybutu powerstats__combat dla każdej postaci z pliku test.csv.

Zadanie 4 - Predykcja umiejętności Super Strength (40 punktów)

Na podstawie danych z pliku train.csv wytrenuj model zdolny do przewidywania wartości atrybutu Super Strength dla każdej postaci z pliku test.csv.

Dozwolone wartości to (predykcje muszą być ostatecznymi etykietami binarnymi, nie prawdopodobieństwem):

10.021.0

Format pliku zgłoszeniowego

Plik zgłoszeniowy musi być w formacie csv i zawierać następujące kolumny:

Możliwe wartości dla subtaskID to:

Dla Zadania 1 i Zadania 2 odpowiedź jest globalna i przesyła się ją używając specjalnej wartości GLOBAL w kolumnie id.

Przykład pliku submission.csv

1id,subtaskID,answer2GLOBAL,task1,13GLOBAL,task2,Cartoon Network443,task3,2.57550,task3,5.1761,task4,0.074,task4,1.0

Ewaluacja

Łączna liczba punktów wynosi 100 punktów.

Zadanie 1 (10 punktów)

Ocena odbywa się poprzez dokładne porównanie przesłanej wartości z poprawną odpowiedzią.

Zadanie 2 (10 punktów)

Ocena odbywa się poprzez dokładne porównanie przesłanej wartości z poprawną odpowiedzią.

Zadanie 3 (40 punktów)

Dla Zadania 3 stosowana jest metryka MAE (Mean Absolute Error).

Punkty przyznawane są następująco:

• jeśli MAE ≤ 12.0, przyznawane jest 40 punktów;
• jeśli MAE ≥ 30.0, przyznawane jest 0 punktów;
• dla wartości pośrednich punkty są interpolowane liniowo.

Stosowany wzór to:

1score_task3 = 40 × (30 - MAE) / (30 - 12), dla 12 < MAE < 30

Zadanie 4 (40 punktów)

Dla Zadania 4 stosowana jest metryka Accuracy.

Punkty przyznawane są następująco:

• jeśli Accuracy ≥ 0.90, przyznawane jest 40 punktów;
• jeśli Accuracy ≤ 0.55, przyznawane jest 0 punktów;
• dla wartości pośrednich punkty są interpolowane liniowo.

Stosowany wzór to:

1score_task4 = 40 × (Accuracy - 0.55) / (0.90 - 0.55), dla 0.55 < Accuracy < 0.90