Roboti v bludišti - 9/10

Kontext

V výzkumném centru pro autonomní systémy se testuje několik typů robotů. Pro tyto experimenty bylo použito několik typů arén a každý robot se řídí určitou strategií průzkumu. Během každého experimentu je robot vybaven sadou senzorů a monitorovacích systémů, které sbírají informace o jeho aktivitě. Zaznamenaná data popisují různé aspekty chování robota a prostředí, ve kterém operuje.
Mohou zahrnovat číselné hodnoty (např. průměrnou rychlost, ujetou vzdálenost, počet kolizí nebo sebraných předmětů), ale také kategoriální nebo popisné informace (jako je typ arény nebo podmínky prostředí). Analýzou těchto dat lze pozorovat vzorce v tom, jak se roboti pohybují, prozkoumávají prostor, sbírají předměty nebo reagují na překážky.

Analýza těchto dat je důležitá pro:

• identifikaci strategie, kterou robot sleduje na základě pozorovaného chování;
• pochopení rysů, které odlišují jednotlivé strategie mezi sebou;
• budování modelů schopných automaticky rozpoznávat vzorce průzkumu.

Pro vyřešení této úlohy budete mít k dispozici dva soubory:

• train.csv – obsahuje označené příklady použité pro analýzu a trénování modelů;
• test.csv – obsahuje stejné proměnné, bez sloupce strategy_label, a používá se pro generování predikcí.

Strategie robotů

V experimentech se používají čtyři typy strategií:

• explorer – robot, který se snaží navštívit co nejvíce různých oblastí;
• collector – robot, který se zaměřuje na sběr předmětů;
• guardian – robot, který hlídkuje a často se vrací do stejných oblastí;
• sprinter – robot, který se pohybuje rychle, s důrazem na rychlost a pokrytí v krátkém čase.

Popis datové sady

Každý řádek v souborech train.csv a test.csv odpovídá jednomu experimentu.

Datová sada obsahuje sloupce popisující různé aspekty chování robota. Příklady těchto charakteristik jsou:

Požadavky

Úkol 1 - Počet typů arén (15 bodů)

Pomocí dat v souboru train.csv určete, kolik různých hodnot se objevuje ve sloupci arena_type.

Úkol 2 - Maximální pozorovaná rychlost (15 bodů)

Pomocí dat v souboru train.csv určete maximum hodnot ve sloupci avg_speed_mps.

Úkol 3 - Nejčastěji používaná aréna (10 bodů)

Na základě dat v souboru train.csv určete, který typ arény se nejčastěji objevuje ve sloupci arena_type.

Úkol 4 - Maximální výkon sběru (10 bodů)

Na základě dat v souboru train.csv určete maximální hodnotu sloupce items_collected.

Úkol 5 – Identifikace strategie robota (50 bodů)

Sestavte model, který určí strategii robota pro každý experiment v test.csv.

Možné hodnoty jsou:

1explorer2collector3guardian4sprinter

Formát souboru pro odevzdání

Soubor pro odevzdání musí být ve formátu csv a obsahovat následující sloupce:

Možné hodnoty pro subtaskID jsou:

Pro Úkol 1 – Úkol 4 je výsledkem hodnota vypočítaná globálně na základě dat z train.csv.
V souboru pro odevzdání musí být tato hodnota odeslána pouze jednou s použitím speciální hodnoty GLOBAL pro robot_id.

Pro Úkol 5 musí být nahlášena předpovězená strategie pro každého robota z test.csv.

Možné hodnoty jsou:

1explorer2collector3guardian4sprinter

Příklad souboru submission.csv

1robot_id,subtaskID,answer2GLOBAL,1,103GLOBAL,2,4.314GLOBAL,3,forest5GLOBAL,4,76TR_1000,5,explorer7TR_1001,5,guardian8TR_1002,5,collector

Hodnocení

Celkový počet bodů je 100 bodů.

Úkol 1 – Úkol 4 (50 bodů)

Pro první čtyři úkoly jsou odpovědi určeny výhradně na základě dat z train.csv.

Hodnocení se provádí přesným porovnáním (rovností) mezi hodnotou odeslanou v souboru pro odevzdání a správnou hodnotou vypočítanou z train.csv.

Úkol 5 – Identifikace strategie robota (50 bodů)

U tohoto úkolu se hodnotí správnost předpovězených strategií pro roboty z test.csv.

Používá se metrika Macro-F1, která vypočítá F1 skóre pro každou třídu a poté tyto hodnoty zprůměruje.

Pro třídu c:

Konečné Macro-F1 skóre je průměrem F1 skóre pro všechny třídy:

kde K je počet tříd. V tomto problému je K = 4.

Bodové hodnocení udělené za Úkol 5 je:

1score = 50 x MacroF1 (pokud MacroF1 < 0.93)2score = 50 (pokud MacroF1 >= 0.93)

⬇ Stáhnout Starter Kit