Missie Juditis - 11/12

Context

Na een kosmisch fenomeen genaamd de Chaos Convergence zijn personages uit meerdere stripuniversums samengevoegd in één realiteit. De Interdimensional Hero Monitoring Agency (AIME) heeft gegevens over deze helden gecentraliseerd om snel hun profielen te kunnen analyseren en automatische beslissingen te kunnen nemen.

De geregistreerde gegevens beschrijven zowel algemene kenmerken van de personages als hun vaardigheden en bijbehorende numerieke statistieken. De analyse van deze gegevens is belangrijk voor:

• het snel extraheren van beschrijvende statistieken over de dataset;
• het reconstrueren van ontbrekende informatie voor nieuwe personages;
• het classificeren van vaardigheden op basis van andere beschikbare kenmerken.

Om het probleem op te lossen, heb je de beschikking over twee bestanden:

• train.csv – bevat gelabelde voorbeelden die worden gebruikt voor analyse en het trainen van modellen;
• test.csv – bevat dezelfde variabelen, maar bevat niet de kolommen powerstats__combat en Super Strength, die voorspeld moeten worden in Task 3 en Task 4.

De universums van de helden

In de dataset komen personages voor uit verschillende uitgeversuniversums, bijvoorbeeld:

• Marvel Comics
• DC Comics
• Dark Horse Comics
• Image Comics
• Shueisha
• George Lucas
• Microsoft
• J. K. Rowling

In dit probleem komt het begrip "universum" overeen met de waarde in de kolom Publisher.

Beschrijving van de dataset

Elke regel in de bestanden train.csv en test.csv komt overeen met één personage.

De dataset bevat:

• een unieke identificatie: id;
• beschrijvende variabelen over het personage;
• binaire variabelen die de aanwezigheid of afwezigheid van bepaalde vaardigheden aangeven;
• continue numerieke variabelen van het type powerstats__...;
• extra kolommen met informatie over de helden.

Voorbeelden van kolommen:

Vereisten

Task 1 - Aantal verschillende universums (10 punten)

Bepaal met behulp van de gegevens in het bestand train.csv hoeveel verschillende waarden er voorkomen in de kolom Publisher.

Task 2 - De uitgever met de meeste positieve helden (10 punten)

Gebruik de gegevens in het bestand train.csv en beschouw alleen de personages waarvoor Alignment = good.

Bepaal welke uitgever de meeste positieve helden bevat.

In het geval van een gelijkspel wordt de uitgever gekozen die als eerste in alfabetische volgorde staat.

Task 3 - Voorspelling van powerstats__combat (40 punten)

Train op basis van de gegevens in het bestand train.csv een model dat in staat is om de waarden van het attribuut powerstats__combat te voorspellen voor elk personage in test.csv.

Task 4 - Voorspelling van de vaardigheid Super Strength (40 punten)

Train op basis van de gegevens in het bestand train.csv een model dat in staat is om de waarden van het attribuut Super Strength te voorspellen voor elk personage in test.csv.

Toegestane waarden zijn (voorspellingen moeten definitieve binaire labels zijn, geen waarschijnlijkheden):

10.021.0

Formaat van het indieningsbestand

Het indieningsbestand moet in csv-formaat zijn en de volgende kolommen bevatten:

Mogelijke waarden voor subtaskID zijn:

Voor Task 1 en Task 2 is het antwoord globaal en wordt het verzonden met de speciale waarde GLOBAL in de kolom id.

Voorbeeld van bestand submission.csv

1id,subtaskID,answer2GLOBAL,task1,13GLOBAL,task2,Cartoon Network443,task3,2.57550,task3,5.1761,task4,0.074,task4,1.0

Evaluatie

De totale score is 100 punten.

Task 1 (10 punten)

De evaluatie gebeurt door een exacte vergelijking tussen de verzonden waarde en het juiste antwoord.

Task 2 (10 punten)

De evaluatie gebeurt door een exacte vergelijking tussen de verzonden waarde en het juiste antwoord.

Task 3 (40 punten)

Voor Task 3 wordt de metriek MAE (Mean Absolute Error) gebruikt.

De punten worden als volgt toegekend:

• als MAE ≤ 12.0, worden 40 punten toegekend;
• als MAE ≥ 30.0, worden 0 punten toegekend;
• voor tussenliggende waarden wordt de score lineair geïnterpoleerd.

De gebruikte formule is:

1score_task3 = 40 × (30 - MAE) / (30 - 12), voor 12 < MAE < 30

Task 4 (40 punten)

Voor Task 4 wordt de metriek Accuracy gebruikt.

De punten worden als volgt toegekend:

• als Accuracy ≥ 0.90, worden 40 punten toegekend;
• als Accuracy ≤ 0.55, worden 0 punten toegekend;
• voor tussenliggende waarden wordt de score lineair geïnterpoleerd.

De gebruikte formule is:

1score_task4 = 40 × (Accuracy - 0.55) / (0.90 - 0.55), voor 0.55 < Accuracy < 0.90