Oppdrag Juditis - 11/12

Kontekst

Etter et kosmisk fenomen kalt Chaos Convergence, har karakterer fra flere tegneserieuniverser blitt samlet i én enkelt virkelighet. Interdimensional Hero Monitoring Agency (AIME) har sentralisert data om disse heltene for raskt å kunne analysere profilene deres og ta automatiserte beslutninger.

De registrerte dataene beskriver både generelle egenskaper ved karakterene, samt ferdigheter og numerisk statistikk knyttet til dem. Analyse av disse dataene er viktig for:

• rask uthenting av beskrivende statistikk om datasettet;
• gjenoppbygging av manglende informasjon for nye karakterer;
• klassifisering av ferdigheter basert på andre tilgjengelige trekk.

For å løse problemet vil du ha to filer til disposisjon:

• train.csv – inneholder merkede eksempler, brukt til analyse og trening av modeller;
• test.csv – inneholder de samme variablene, men inkluderer ikke kolonnene powerstats__combat og Super Strength, som må predikeres i Oppgave 3 og Oppgave 4.

Heltenes universer

I datasettet dukker det opp karakterer fra flere utgiveruniverser, for eksempel:

• Marvel Comics
• DC Comics
• Dark Horse Comics
• Image Comics
• Shueisha
• George Lucas
• Microsoft
• J. K. Rowling

I denne oppgaven tilsvarer begrepet "univers" verdien i kolonnen Publisher.

Beskrivelse av datasettet

Hver linje i filene train.csv og test.csv tilsvarer en karakter.

Datasettet inneholder:

• en unik identifikator: id;
• beskrivende variabler om karakteren;
• binære variabler som indikerer tilstedeværelse eller fravær av visse ferdigheter;
• kontinuerlige numeriske variabler av typen powerstats__...;
• tilleggskolonner med informasjon om heltene.

Eksempler på kolonner:

Krav

Oppgave 1 - Antall distinkte universer (10 poeng)

Bruk dataene i filen train.csv for å finne ut hvor mange distinkte verdier som finnes i kolonnen Publisher.

Oppgave 2 - Utgiveren med flest positive helter (10 poeng)

Bruk dataene i filen train.csv, og vurder kun karakterer der Alignment = good.

Finn ut hvilken utgiver som har flest positive helter.

Ved likt antall velges utgiveren som kommer først i alfabetisk rekkefølge.

Oppgave 3 - Prediksjon av powerstats__combat (40 poeng)

Basert på dataene i filen train.csv, tren en modell som er i stand til å forutsi verdiene for attributtet powerstats__combat for hver karakter i test.csv.

Oppgave 4 - Prediksjon av ferdigheten Super Strength (40 poeng)

Basert på dataene i filen train.csv, tren en modell som er i stand til å forutsi verdiene for attributtet Super Strength for hver karakter i test.csv.

Tillatte verdier er (prediksjonene må være endelige binære merker, ikke sannsynligheter):

10.021.0

Format for innsendingsfil

Innsendingsfilen må være i csv-format og inneholde følgende kolonner:

Mulige verdier for subtaskID er:

For Oppgave 1 og Oppgave 2 er svaret globalt og sendes ved å bruke den spesielle verdien GLOBAL i id-kolonnen.

Eksempel på submission.csv-fil

1id,subtaskID,answer2GLOBAL,task1,13GLOBAL,task2,Cartoon Network443,task3,2.57550,task3,5.1761,task4,0.074,task4,1.0

Evaluering

Total poengsum er 100 poeng.

Oppgave 1 (10 poeng)

Evalueringen gjøres ved nøyaktig sammenligning mellom innsendt verdi og riktig svar.

Oppgave 2 (10 poeng)

Evalueringen gjøres ved nøyaktig sammenligning mellom innsendt verdi og riktig svar.

Oppgave 3 (40 poeng)

For Oppgave 3 brukes metrikken MAE (Mean Absolute Error).

Poeng tildeles som følger:

• hvis MAE ≤ 12.0, tildeles 40 poeng;
• hvis MAE ≥ 30.0, tildeles 0 poeng;
• for mellomliggende verdier interpoleres poengsummen lineært.

Formelen som brukes er:

1score_task3 = 40 × (30 - MAE) / (30 - 12), for 12 < MAE < 30

Oppgave 4 (40 poeng)

For Oppgave 4 brukes metrikken Accuracy.

Poeng tildeles som følger:

• hvis Accuracy ≥ 0.90, tildeles 40 poeng;
• hvis Accuracy ≤ 0.55, tildeles 0 poeng;
• for mellomliggende verdier interpoleres poengsummen lineært.

Formelen som brukes er:

1score_task4 = 40 × (Accuracy - 0.55) / (0.90 - 0.55), for 0.55 < Accuracy < 0.90