Juditis küldetés - 11/12

Kontextus

A Káosz Konvergenciája nevű kozmikus jelenséget követően több képregény-univerzum karakterei egyetlen valóságban egyesültek. Az Interdimenzionális Hősfigyelő Ügynökség (AIME) központosította az ezen hősökről szóló adatokat, hogy gyorsan elemezhesse profiljaikat és automatizált döntéseket hozhasson.

A rögzített adatok leírják a karakterek általános jellemzőit, valamint a hozzájuk kapcsolódó képességeket és numerikus statisztikákat. Az adatok elemzése fontos a következőkhöz:

• gyors leíró statisztikák kinyerése az adatkészletből;
• hiányzó információk rekonstruálása új karakterek esetén;
• képességek osztályozása a többi rendelkezésre álló jellemző alapján.

A probléma megoldásához két fájl áll rendelkezésre:

• train.csv – címkézett példákat tartalmaz, amelyeket elemzésre és a modellek tanítására használnak;
• test.csv – ugyanazokat a változókat tartalmazza, de nem tartalmazza a powerstats__combat és a Super Strength oszlopokat, amelyeket a Task 3-ban és a Task 4-ben kell megjósolni.

A hősök univerzumai

Az adatkészletben több kiadói univerzumból származó karakterek szerepelnek, például:

• Marvel Comics
• DC Comics
• Dark Horse Comics
• Image Comics
• Shueisha
• George Lucas
• Microsoft
• J. K. Rowling

Ebben a feladatban az „univerzum” fogalma a Publisher oszlopban szereplő értéknek felel meg.

Az adatkészlet leírása

A train.csv és test.csv fájlok minden sora egy karakternek felel meg.

Az adatkészlet tartalma:

• egy egyedi azonosító: id;
• a karaktert leíró változók;
• bináris változók, amelyek bizonyos képességek meglétét vagy hiányát jelzik;
• powerstats__... típusú folytonos numerikus változók;
• további oszlopok a hősökről szóló információkkal.

Példák az oszlopokra:

Követelmények

Task 1 - Különböző univerzumok száma (10 pont)

A train.csv fájl adatai alapján határozza meg, hány különböző érték szerepel a Publisher oszlopban.

Task 2 - A legtöbb pozitív hőssel rendelkező kiadó (10 pont)

A train.csv fájl adatai alapján csak azokat a karaktereket vegye figyelembe, amelyeknél Alignment = good.

Határozza meg, melyik kiadó rendelkezik a legtöbb pozitív hőssel.

Egyenlőség esetén az ábécérendben előrébb lévő kiadót válassza.

Task 3 - A powerstats__combat előrejelzése (40 pont)

A train.csv fájl adatai alapján tanítson be egy modellt, amely képes megjósolni a powerstats__combat attribútum értékeit a test.csv minden karakterére.

Task 4 - A Super Strength képesség előrejelzése (40 pont)

A train.csv fájl adatai alapján tanítson be egy modellt, amely képes megjósolni a Super Strength attribútum értékeit a test.csv minden karakterére.

A megengedett értékek (az előrejelzéseknek végleges bináris címkéknek kell lenniük, nem valószínűségeknek):

10.021.0

A beküldendő fájl formátuma

A beküldendő fájlnak csv formátumúnak kell lennie, és a következő oszlopokat kell tartalmaznia:

A subtaskID lehetséges értékei:

A Task 1 és Task 2 esetén a válasz globális, és az id oszlopban a speciális GLOBAL értéket kell használni.

Példa a submission.csv fájlra

1id,subtaskID,answer2GLOBAL,task1,13GLOBAL,task2,Cartoon Network443,task3,2.57550,task3,5.1761,task4,0.074,task4,1.0

Értékelés

A maximális pontszám 100 pont.

Task 1 (10 pont)

Az értékelés a beküldött érték és a helyes válasz pontos összehasonlításával történik.

Task 2 (10 pont)

Az értékelés a beküldött érték és a helyes válasz pontos összehasonlításával történik.

Task 3 (40 pont)

A Task 3 esetén a MAE (Mean Absolute Error) metrikát használjuk.

A pontozás a következőképpen alakul:

• ha MAE ≤ 12.0, 40 pont jár;
• ha MAE ≥ 30.0, 0 pont jár;
• köztes értékek esetén a pontszám lineárisan interpolált.

A használt képlet:

1score_task3 = 40 × (30 - MAE) / (30 - 12), ha 12 < MAE < 30

Task 4 (40 pont)

A Task 4 esetén az Accuracy (pontosság) metrikát használjuk.

A pontozás a következőképpen alakul:

• ha Accuracy ≥ 0.90, 40 pont jár;
• ha Accuracy ≤ 0.55, 0 pont jár;
• köztes értékek esetén a pontszám lineárisan interpolált.

A használt képlet:

1score_task4 = 40 × (Accuracy - 0.55) / (0.90 - 0.55), ha 0.55 < Accuracy < 0.90