Mise Juditis - 11/12

Kontext

V důsledku kosmického fenoménu nazvaného Konvergence chaosu byly postavy z několika komiksových vesmírů sjednoceny do jediné reality. Mezidimenzionální agentura pro monitorování hrdinů (AIME) centralizovala data o těchto hrdinech, aby mohla rychle analyzovat jejich profily a činit automatizovaná rozhodnutí.

Zaznamenaná data popisují jak obecné charakteristiky postav, tak jejich schopnosti a přidružené číselné statistiky. Analýza těchto dat je důležitá pro:

• rychlou extrakci popisných statistik o datové sadě;
• rekonstrukci chybějících informací pro nové postavy;
• klasifikaci schopností na základě ostatních dostupných rysů.

K vyřešení problému budete mít k dispozici dva soubory:

• train.csv – obsahuje označené příklady použité pro analýzu a trénování modelů;
• test.csv – obsahuje stejné proměnné, ale nezahrnuje sloupce powerstats__combat a Super Strength, které musí být predikovány v Úkolu 3 a Úkolu 4.

Vesmíry hrdinů

V datové sadě se objevují postavy pocházející z několika vydavatelských vesmírů, například:

• Marvel Comics
• DC Comics
• Dark Horse Comics
• Image Comics
• Shueisha
• George Lucas
• Microsoft
• J. K. Rowling

V tomto problému pojem „vesmír“ odpovídá hodnotě ve sloupci Publisher.

Popis datové sady

Každý řádek v souborech train.csv a test.csv odpovídá jedné postavě.

Datová sada obsahuje:

• unikátní identifikátor: id;
• popisné proměnné o postavě;
• binární proměnné indikující přítomnost nebo absenci určitých schopností;
• spojité číselné proměnné typu powerstats__...;
• doplňkové sloupce s informacemi o hrdinech.

Příklady sloupců:

Požadavky

Úkol 1 - Počet unikátních vesmírů (10 bodů)

Pomocí dat v souboru train.csv určete, kolik unikátních hodnot se objevuje ve sloupci Publisher.

Úkol 2 - Vydavatel s největším počtem kladných hrdinů (10 bodů)

Pomocí dat v souboru train.csv uvažujte pouze postavy, pro které platí Alignment = good.

Určete, který vydavatel (publisher) obsahuje nejvíce kladných hrdinů.

V případě rovnosti zvolte vydavatele, který je první v abecedním pořadí.

Úkol 3 - Predikce powerstats__combat (40 bodů)

Na základě dat v souboru train.csv natrénujte model schopný predikovat hodnoty atributu powerstats__combat pro každou postavu v test.csv.

Úkol 4 - Predikce schopnosti Super Strength (40 bodů)

Na základě dat v souboru train.csv natrénujte model schopný predikovat hodnoty atributu Super Strength pro každou postavu v test.csv.

Povolené hodnoty jsou (predikce musí být finální binární labely, nikoliv pravděpodobnosti):

10.021.0

Formát souboru pro odevzdání

Soubor pro odevzdání musí být ve formátu csv a obsahovat následující sloupce:

Možné hodnoty pro subtaskID jsou:

Pro Úkol 1 a Úkol 2 je odpověď globální a odesílá se pomocí speciální hodnoty GLOBAL ve sloupci id.

Příklad souboru submission.csv

1id,subtaskID,answer2GLOBAL,task1,13GLOBAL,task2,Cartoon Network443,task3,2.57550,task3,5.1761,task4,0.074,task4,1.0

Hodnocení

Celkové skóre je 100 bodů.

Úkol 1 (10 bodů)

Hodnocení probíhá přesným porovnáním odeslané hodnoty se správnou odpovědí.

Úkol 2 (10 bodů)

Hodnocení probíhá přesným porovnáním odeslané hodnoty se správnou odpovědí.

Úkol 3 (40 bodů)

Pro Úkol 3 se používá metrika MAE (Mean Absolute Error).

Body jsou přidělovány následovně:

• pokud MAE ≤ 12.0, získáte 40 bodů;
• pokud MAE ≥ 30.0, získáte 0 bodů;
• pro mezilehlé hodnoty se body lineárně interpolují.

Použitý vzorec je:

1score_task3 = 40 × (30 - MAE) / (30 - 12), pro 12 < MAE < 30

Úkol 4 (40 bodů)

Pro Úkol 4 se používá metrika Accuracy.

Body jsou přidělovány následovně:

• pokud Accuracy ≥ 0.90, získáte 40 bodů;
• pokud Accuracy ≤ 0.55, získáte 0 bodů;
• pro mezilehlé hodnoty se body lineárně interpolují.

Použitý vzorec je:

1score_task4 = 40 × (Accuracy - 0.55) / (0.90 - 0.55), pro 0.55 < Accuracy < 0.90