Mission Juditis - 11/12

Kontekst

Efter et kosmisk fænomen kaldet Chaos Convergence er karakterer fra flere tegneserieuniverser blevet forenet i én enkelt virkelighed. Interdimensional Hero Monitoring Agency (AIME) har centraliseret data om disse helte for hurtigt at kunne analysere deres profiler og træffe automatiserede beslutninger.

De registrerede data beskriver både generelle karakteristika for karaktererne samt evner og numeriske statistikker tilknyttet dem. Analysen af disse data er vigtig for:

• hurtig udtrækning af beskrivende statistik om datasættet;
• rekonstruktion af manglende information for nye karakterer;
• klassificering af evner baseret på andre tilgængelige træk.

For at løse problemet har du to filer til rådighed:

• train.csv – indeholder mærkede eksempler, der bruges til analyse og træning af modeller;
• test.csv – indeholder de samme variabler, men inkluderer ikke kolonnerne powerstats__combat og Super Strength, som skal forudsiges i Task 3 og Task 4.

Heltenes universer

I datasættet optræder karakterer fra flere udgiveruniverser, for eksempel:

• Marvel Comics
• DC Comics
• Dark Horse Comics
• Image Comics
• Shueisha
• George Lucas
• Microsoft
• J. K. Rowling

I denne opgave svarer begrebet "univers" til værdien i kolonnen Publisher.

Beskrivelse af datasættet

Hver linje i filerne train.csv og test.csv svarer til en karakter.

Datasættet indeholder:

• en unik identifikator: id;
• beskrivende variabler om karakteren;
• binære variabler, der angiver tilstedeværelse eller fravær af visse evner;
• kontinuerlige numeriske variabler af typen powerstats__...;
• yderligere kolonner med information om heltene.

Eksempler på kolonner:

Krav

Task 1 - Antal unikke universer (10 point)

Brug data fra filen train.csv til at bestemme, hvor mange unikke værdier der optræder i kolonnen Publisher.

Task 2 - Udgiveren med flest positive helte (10 point)

Brug data fra filen train.csv og betragt kun karakterer, hvor Alignment = good.

Bestem hvilken udgiver, der har flest positive helte.

I tilfælde af lighed vælges den udgiver, der kommer først i alfabetisk rækkefølge.

Task 3 - Forudsigelse af powerstats__combat (40 point)

Baseret på data fra filen train.csv skal du træne en model, der er i stand til at forudsige værdierne for attributten powerstats__combat for hver karakter i test.csv.

Task 4 - Forudsigelse af evnen Super Strength (40 point)

Baseret på data fra filen train.csv skal du træne en model, der er i stand til at forudsige værdierne for attributten Super Strength for hver karakter i test.csv.

De tilladte værdier er (forudsigelserne skal være endelige binære labels, ikke sandsynligheder):

10.021.0

Format for submissionsfil

Submissionsfilen skal være i csv-format og indeholde følgende kolonner:

De mulige værdier for subtaskID er:

For Task 1 og Task 2 er svaret globalt og sendes ved hjælp af den specielle værdi GLOBAL i kolonnen id.

Eksempel på filen submission.csv

1id,subtaskID,answer2GLOBAL,task1,13GLOBAL,task2,Cartoon Network443,task3,2.57550,task3,5.1761,task4,0.074,task4,1.0

Evaluering

Den samlede score er 100 point.

Task 1 (10 point)

Evalueringen sker ved direkte sammenligning mellem den indsendte værdi og det korrekte svar.

Task 2 (10 point)

Evalueringen sker ved direkte sammenligning mellem den indsendte værdi og det korrekte svar.

Task 3 (40 point)

For Task 3 anvendes metrikken MAE (Mean Absolute Error).

Point tildeles således:

• hvis MAE ≤ 12.0, tildeles 40 point;
• hvis MAE ≥ 30.0, tildeles 0 point;
• for mellemliggende værdier interpoleres pointene lineært.

Den anvendte formel er:

1score_task3 = 40 × (30 - MAE) / (30 - 12), for 12 < MAE < 30

Task 4 (40 point)

For Task 4 anvendes metrikken Accuracy.

Point tildeles således:

• hvis Accuracy ≥ 0.90, tildeles 40 point;
• hvis Accuracy ≤ 0.55, tildeles 0 point;
• for mellemliggende værdier interpoleres pointene lineært.

Den anvendte formel er:

1score_task4 = 40 × (Accuracy - 0.55) / (0.90 - 0.55), for 0.55 < Accuracy < 0.90