Robots in het doolhof - 9/10

Context

In een onderzoekscentrum voor autonome systemen worden verschillende soorten robots getest. Voor deze experimenten zijn verschillende soorten arena's gebruikt, en elke robot volgt een bepaalde exploratiestrategie. Tijdens elk experiment is de robot uitgerust met een set sensoren en monitoringsystemen die informatie verzamelen over zijn activiteit. De geregistreerde gegevens beschrijven verschillende aspecten van het gedrag van de robot en de omgeving waarin deze opereert.
Deze kunnen numerieke waarden bevatten (bijvoorbeeld gemiddelde snelheid, afgelegde afstand, aantal botsingen of verzamelde objecten), maar ook categorische of beschrijvende informatie (zoals het type arena of omgevingscondities). Door analyse van deze gegevens kunnen patronen worden waargenomen in de manier waarop robots bewegen, de ruimte verkennen, objecten verzamelen of reageren op obstakels.

De analyse van deze gegevens is belangrijk voor:

• het identificeren van de strategie die een robot volgt op basis van het geobserveerde gedrag;
• het begrijpen van de kenmerken die de strategieën van elkaar onderscheiden;
• het bouwen van modellen die in staat zijn om automatisch exploratiepatronen te herkennen.

Om dit probleem op te lossen, heb je de beschikking over twee bestanden:

• train.csv – bevat gelabelde voorbeelden, gebruikt voor analyse en het trainen van modellen;
• test.csv – bevat dezelfde variabelen, zonder de kolom strategy_label, en wordt gebruikt voor het genereren van voorspellingen.

De strategieën van de robots

In de experimenten worden vier soorten strategieën gebruikt:

• explorer – een robot die probeert zoveel mogelijk verschillende gebieden te bezoeken;
• collector – een robot die gericht is op het verzamelen van objecten;
• guardian – een robot die patrouilleert en regelmatig terugkeert naar dezelfde regio's;
• sprinter – een robot die zich snel verplaatst, met de nadruk op snelheid en dekking in korte tijd.

Beschrijving van de dataset

Elke regel in de bestanden train.csv en test.csv komt overeen met één experiment.

De dataset bevat kolommen die verschillende aspecten van het gedrag van de robot beschrijven. Voorbeelden van dergelijke kenmerken zijn:

Vereisten

Task 1 - Aantal arena-types (15 punten)

Bepaal met behulp van de gegevens in het bestand train.csv hoeveel unieke waarden er voorkomen in de kolom arena_type.

Task 2 - Maximaal waargenomen snelheid (15 punten)

Bepaal met behulp van de gegevens in het bestand train.csv de maximale waarde in de kolom avg_speed_mps.

Task 3 - Meest gebruikte arena (10 punten)

Bepaal op basis van de gegevens in het bestand train.csv welk type arena het meest frequent voorkomt in de kolom arena_type.

Task 4 - Maximale verzamelprestatie (10 punten)

Bepaal op basis van de gegevens in het bestand train.csv de maximale waarde van de kolom items_collected.

Task 5 – Identificatie van de robotstrategie (50 punten)

Bouw een model dat de strategie van de robot bepaalt voor elk experiment in test.csv.

De mogelijke waarden zijn:

1explorer2collector3guardian4sprinter

Formaat van het indieningsbestand

Het indieningsbestand moet in csv-formaat zijn en de volgende kolommen bevatten:

De mogelijke waarden voor subtaskID zijn:

Voor Task 1 – Task 4 is het resultaat een waarde die globaal berekend is op basis van de gegevens in train.csv.
In het indieningsbestand moet deze één keer worden verzonden, met de speciale waarde GLOBAL voor robot_id.

Voor Task 5 moet de voorspelde strategie voor elke robot uit test.csv worden gerapporteerd.

De mogelijke waarden zijn:

1explorer2collector3guardian4sprinter

Voorbeeld van bestand submission.csv

1robot_id,subtaskID,answer2GLOBAL,1,103GLOBAL,2,4.314GLOBAL,3,forest5GLOBAL,4,76TR_1000,5,explorer7TR_1001,5,guardian8TR_1002,5,collector

Evaluatie

De totale score is 100 punten.

Task 1 – Task 4 (50 punten)

Voor de eerste vier taken worden de antwoorden uitsluitend bepaald op basis van de gegevens in train.csv.

De evaluatie gebeurt door middel van een exacte vergelijking (gelijkheid) tussen de waarde in het indieningsbestand en de juiste waarde berekend uit train.csv.

Task 5 – Identificatie van de robotstrategie (50 punten)

Voor deze taak wordt de correctheid van de voorspelde strategieën voor de robots in test.csv geëvalueerd.

Er wordt gebruikgemaakt van de Macro-F1 metriek, die de F1-score voor elke klasse berekent en vervolgens het gemiddelde van deze waarden neemt.

Voor een klasse c:

De uiteindelijke Macro-F1 score is het gemiddelde van de F1-scores voor alle klassen:

waarbij K het aantal klassen is. In dit probleem is K = 4.

De toegekende score voor Task 5 is:

1score = 50 x MacroF1 (als MacroF1 < 0.93)2score = 50 (als MacroF1 >= 0.93)

⬇ Download Starter Kit