Predviđanje pobednika GalacticWars

Predviđanje pobednika GalacticWars

Kontekst

U dalekom univerzumu Galactic Wars u stalnom su sukobu dve podjednako moćne vojske: Džedaji i Imperiali (Calmtroopers).
Jedan od najmoćnijih Džedaja, Anaklyn Groundwalker, zarobljen je u misiji sa brojnim borbama iz kojih ovog puta nije siguran da će se izvući. Palme, njegova prijateljica, moli te za pomoć i želi da predvidiš da li će Anaklyn biti pobednik na osnovu različitih faktora bitaka, kao što su oružje, oklop, sila, ali i moralno stanje (samopouzdanje).
Na tvoju sreću, jednom Calmtrooperu (iz tabora Imperiala) ispao je set sa njegovom opremom i možeš da napraviš model koji može da predvidi Anaklynovu pobedu.

Pronašao si dva fajla:

• train.csv - podaci o prethodnim borbama, koji sadrže pobednika
• test.csv - podaci o budućim bitkama, bez poznavanja pobednika

Skup podataka

Ime	Tip	Opis
FightID	int	Jedinstveni ID borbe
weapon_jedai	object	Oružje Džedaja
armour_jedai	object	Zaštita oklopa Džedaja (%)
weapon_calmtrooper	object	Oružje Calmtroopera
armour_calmtrooper	object	Zaštita oklopa Calmtroopera (%)
injuries	object	Ranjeni borac
number_of_fights	float	Broj vođenih borbi
force_level	float	Sila protivnika
accuracy_calmtrooper	float	Preciznost gađanja Calmtroopera
fight_planet	object	Planeta na kojoj se vodi borba
weather_conditions	object	Vremenski uslovi
surprise_attack	bool	Napadi iznenađenja
moral_jedai	float	Moralno stanje Džedaja
moral_calmtrooper	float	Moralno stanje Calmtroopera
winner	int	Pobednik borbe

---

Zahtevi

Palme, poznata kao zahtevna (i pošto je primetila da si vešt), traži od tebe da rešiš 4 zadatka.
Podzadaci 1 i 2 podrazumevaju analizu i obradu skupova podataka.
Podzadaci 3 i 4 ocenjuju performanse modela za dodelu labela, odnosno modela za klasifikaciju.

---

Podzadatak 1 - Adekvatno opremanje za Nabiru (5 poena)

Da bi se dobro opremio za borbu, Anaklyn mora da zna kako da se obuče.
Izračunaj koliko se borbi iz test.csv odvija na planetama tipa "Nabira" gde su vremenski uslovi (weather_conditions) tipa sneg Snow.

Podzadatak 2 - Zamena zamki u oružju (5 poena)

Otkrio si da ti je CalmTrooper postavio zamku i da oni zapravo više ne koriste oružja koja je Anaklyn poznavao:
Zameni u skupu podataka train.csv sva pojavljivanja oružja Experimental Weapon sa Double Blaster i ispiši koliko si vrednosti morao da zameniš.

(Za naredne podzadatke, u test.csv je ova zamena već izvršena)

Podzadatak 3 - Kategorizacija stilova borbe (20 poena)

Analizirajući prethodne borbe, Anaklyn je primetio da se one mogu svrstati u 3 stila borbe (0, 1, 2), koristeći veštine Džedaja i protivnika (sila, moral, oklop, iskustvo, itd.).
Za svaku borbu iz test.csv, odredi odgovarajući stil borbe.

Metrika evaluacije

Za evaluaciju kategorizacije borbi koristi se Adjusted Rand Index (ARI), koji meri sličnost između dve podele, prilagođavajući se slučajnom podudaranju.

ARI koeficijent za dve podele definisan je kao:

ARI = (RI - E[RI]) / (max(RI) - E[RI])

gde:

• RI predstavlja Rand indeks između dve podele;
• E[RI] je očekivana vrednost Rand indeksa za slučajne podele.

Ako je dobijeni broj blizu 1, to znači da je podela na tipove borbi urađena vešto i da su granice između karakteristika borbi ispravno identifikovane. Anaklynov život zavisi od poznavanja ovih tipova bitaka, zato se maksimalni broj poena za ovaj podzadatak dobija samo ako je vrednost metrike evaluacije >= 0.95.

• ARI >= 0.95 -> 20 poena
• ARI <= 0.50 -> 0 poena
• Interval između njih će dobiti proporcionalan broj poena

Podzadatak 4 - Predviđanje pobednika svake borbe (70 poena)

Imajući na raspolaganju skup podataka koji opisuje pojedinačne borbe između Džedaja i Calmtroopera, konstruiši model klasifikacije koji će predvideti ishod borbe za svaki red u test.csv.
Ciljna varijabla je: winner (0 - pobeđuje Calmtrooper / 1 - pobeđuje Džedaj).

Evaluacija se vrši pomoću F1 macro skora.
F1 macro skor se računa na sledeći način:

• Računa se F1-score posebno za svaku klasu (0 i 1)
• Uzima se aritmetička sredina te dve vrednosti

Ova metrika tretira obe klase podjednako i kažnjava modele koji ispravno predviđaju samo većinsku klasu.

Pragovi evaluacije:

• F1 macro >= 0.95 -> 70 poena
• F1 macro <= 0.80 -> 0 poena
• Međuvrednosti dobijaju proporcionalan broj poena

---

Format slanja (Submission Format)

Konačni fajl mora biti CSV fajl pod nazivom submission.csv koji sadrži tačno 3 kolone:

• subtaskID - broj podzadatka (1, 2, 3, 4)
• datapointID - ID svake borbe
• answer - odgovarajući odgovor za taj podzadatak i datapointID

Napomena: Za Podzadatke 1 i 2, koji zahtevaju jedan odgovor, ispisuje se samo jedna linija za svaki podzadatak, sa datapointID jednakim 1, odnosno 2.