Napoved zmagovalca GalacticWars

Napoved zmagovalca GalacticWars

Kontekst

V oddaljenem vesolju Galactic Wars sta v nenehnem sporu dve enako močni vojski: Jediji in Imperialci (Calmtrooperji).
Eden najmočnejših Jedijev, Anaklyn Groundwalker, je ujet v misiji s številnimi bitkami, za katere tokrat ni prepričan, da se bo iz njih rešil. Palme, njegova prijateljica, te prosi za pomoč in želi napovedati, ali bo Anaklyn zmagal na podlagi različnih dejavnikov bitk, kot so orožje, oklep, sila, pa tudi moralno stanje (samozavest).
Na tvojo srečo je Calmtrooperju (iz tabora Imperialcev) izpadel komplet z njegovo opremo, zato lahko zgradiš model, ki lahko napove Anaklynovo zmago.

Našel si dve datoteki:

• train.csv - podatki o prejšnjih bitkah, ki vsebujejo zmagovalca
• test.csv - podatki o prihodnjih bitkah, brez poznavanja zmagovalca

Nabor podatkov

Ime	Tip	Opis
FightID	int	Edinstven ID bitke
weapon_jedai	object	Orožje Jedija
armour_jedai	object	Zaščita oklepa Jedija (%)
weapon_calmtrooper	object	Orožje Calmtrooperja
armour_calmtrooper	object	Zaščita oklepa Calmtrooperja (%)
injuries	object	Poškodovan borec
number_of_fights	float	Število opravljenih bitk
force_level	float	Sila nasprotnika
accuracy_calmtrooper	float	Natančnost streljanja Calmtrooperja
fight_planet	object	Planet, na katerem poteka bitka
weather_conditions	object	Vremenske razmere
surprise_attack	bool	Napadi presenečenja
moral_jedai	float	Moralno stanje Jedija
moral_calmtrooper	float	Moralno stanje Calmtrooperja
winner	int	Zmagovalec bitke

---

Zahteve

Palme, ki je znana kot zahtevna (in ker je opazila tvojo spretnost), od tebe zahteva rešitev 4 nalog.
Podnalogi 1 in 2 vključujeta analizo in obdelavo naborov podatkov.
Podnalogi 3 in 4 ocenjujeta uspešnost modela za dodeljevanje oznak oziroma modela za klasifikacijo.

---

Podnaloga 1 - Ustrezna oprema za Nabiro (5 točk)

Da bi se dobro opremil za bitko, mora Anaklyn vedeti, kako se obleči.
Izračunaj, koliko bitk v test.csv poteka na planetih tipa "Nabira" in so vremenske razmere (weather_conditions) tipa sneženje Snow.

Podnaloga 2 - Zamenjava pasti z orožjem (5 točk)

Odkril si, da ti je CalmTrooper nastavil past in da v resnici ne uporabljajo več orožja, ki ga je poznal Anaklyn:
V naboru podatkov train.csv zamenjaj vse pojavitve orožja Experimental Weapon z Double Blaster in izpiši, koliko vrednosti si moral zamenjati.

(Za naslednje podnaloge je bila ta zamenjava v test.csv že izvedena)

Podnaloga 3 - Razvrščanje slogov boja (20 točk)

Z analizo prejšnjih bitk je Anaklyn opazil, da jih je mogoče razvrstiti v 3 sloge boja (0, 1, 2) z uporabo veščin Jedija in nasprotnika (sila, morala, oklep, izkušnje itd.).
Za vsako bitko v test.csv določi ustrezen slog boja.

Metrika ocenjevanja

Za ocenjevanje razvrstitve bitk se uporablja Adjusted Rand Index (ARI), ki meri podobnost med dvema razdelitvama s prilagoditvijo za naključno ujemanje.

Koeficient ARI za dve razdelitvi je definiran kot:

ARI = (RI - E[RI]) / (max(RI) - E[RI])

kjer:

• RI predstavlja Randov indeks med dvema razdelitvama;
• E[RI] je pričakovana vrednost Randovega indeksa za naključne razdelitve.

Če je dobljeno število blizu 1, pomeni, da je bila razdelitev v tipe bitk opravljena spretno in so bile meje med značilnostmi bitk pravilno identificirane. Anaklynovo življenje je odvisno od poznavanja teh tipov bitk, zato se polno število točk za to podnalogo podeli le, če je dobljena vrednost metrike ocenjevanja >= 0.95.

• ARI >= 0.95 -> 20 točk
• ARI <= 0.50 -> 0 točk
• Interval med njima bo prejel delne točke, sorazmerno

Podnaloga 4 - Napoved zmagovalca vsake bitke (70 točk)

Z uporabo nabora podatkov, ki opisuje posamezne bitke med Jediji in Calmtrooperji, zgradi klasifikacijski model, ki bo napovedal rezultat bitke za vsako vrstico v test.csv.
Ciljna spremenljivka je: winner (0 - zmaga Calmtrooper / 1 - zmaga Jedi).

Ocenjevanje se izvede z uporabo ocene F1 makro.
Ocena F1 makro se izračuna takole:

• Izračuna se F1-score posebej za vsak razred (0 in 1)
• Izračuna se aritmetična sredina teh dveh vrednosti

Ta metrika obravnava oba razreda enakovredno in kaznuje modele, ki pravilno napovedo le večinski razred.

Pragi ocenjevanja:

• F1 makro >= 0.95 -> 70 točk
• F1 makro <= 0.80 -> 0 točk
• Vmesne vrednosti prejmejo sorazmerno točk

---

Format oddaje

Končna oddaja mora biti datoteka CSV z imenom submission.csv, ki vsebuje natanko 3 stolpce:

• subtaskID - številka podnaloge (1, 2, 3, 4)
• datapointID - ID vsake bitke
• answer - ustrezen odgovor za dotično podnalogo in datapointID

Opomba: Za podnalogi 1 in 2, ki zahtevata en sam odgovor, se izpiše ena sama vrstica za vsako podnalogo, pri čemer je datapointID enak 1 oziroma 2.