Nacionalna razstava kuncev

Nacionalna razstava kuncev

Editorial

V decembrskem mesecu z velikimi in mirnimi snežinkami, ko je vas še vedno dišal po zgorelih polenih in svežem senu iz skedenjev, so se v sredini države odprla vrata Nacionalne razstave kuncev. V ogrenih halah, ki so se svetile pod rumenimi lučmi, so rejci iz vseh koncev države z upanjem pripeljali svoje najlepše in najbolje negovane živali.

Primerki iz treh velikih pasem kuncev (vsaka z dobro ukoreninjenim videzom in navadami) so se ponovno srečali na istem mestu.

Vsaka žival je dobila ploščico z ID-jem, v debeli, v usnje vezani register pa so bile vpisane vse značilnosti, ki so jo ločevale od drugih:

spol, teža, dolžina ušes, ali so ušesa viseča ali ne, barva kožuha, starost, tip in kakovost kožuha, oblika telesa, ali ima grlo ali ne, ter zdravstveno stanje.

To je bil način organizatorjev, da ohranijo popolno pričevanje o vsaki kosmateni duši, ki je vstopila v halo.

Subtask 1 (20 točk)

Organizatorji želijo vedeti, koliko samic, privedenih na razstavo, je imelo viseča ušesa in je nosilo plemenito nianso havana. Rezultat morate določiti na podlagi testnega niza (test_data.csv).

Nič zapleteno, samo pozorno iskanje po registrih morate opraviti, da jim ponudite ta odgovor.

Subtask 2 (40 točk)

Nekega mrzlega jutra, ko se je dih še vedno dvigal v hali, so organizatorji odkrili, da je pomembna stran izginila iz uradnega registra.
Pasma vsakega kunca, tako skrbno zapisana v drugih letih, se ni več nikjer našla.
Privedeni so bili primerki iz treh različnih pasem, to se je vedelo z gotovostjo, vendar so znaki, ki so jih neposredno identificirali, izginili.

Tisti, ki so dobro poznali kunce, so bili prošeni, da z vztrajnostjo opazujejo vse primerke in identificirajo tri naravne skupine, pri čemer naj uporabljajo samo zapisane lastnosti: podobnosti, razlike, jasne meje, področja, kjer so se živali zdele blizu ali oddaljene po videzu. Rezultat morate določiti na podlagi testnega niza (test_data.csv).

Metrika vrednotenja

Za ocenjevanje, kako dobro se ujemajo delitve na pasme, se uporablja Adjusted Rand Index (ARI), ki meri podobnost med dvema delitvama, prilagojeno za naključno ujemanje.

Koeficient ARI za dve delitvi je definiran kot:

kjer:

• RI predstavlja Rand indeks med dvema delitvama;
• E[RI] je pričakovana vrednost Rand indeksa za naključne delitve.

Če je dobljeno število blizu 1, je to pomenilo, da je bila delitev na pasme opravljena spretno in so bile meje med značilnostmi pasem pravilno identificirane. Organizatorji razstave so zelo zahtevni in dodelijo maksimalno število točk za ta subtask samo, če je dobljena vrednost za metriko vrednotenja 1.

Subtask 3 (40 točk)

V tistem decembru je bilo število udeležencev tako veliko, da sodniki, čeprav so se trudili, niso mogli oceniti vseh živali.
Samo del jih je prejel Oceno žirije, med 0 in 100.

• Ocena je število med 0 in 100, kjer:
  • 0 pomeni, da je bil primerek diskvalificiran
  • 100 pomeni, da je primerek tak, da lahko postane prvak

Za druge kunce, še neoznačene, je bilo treba najti način ugibanja ocene, ki bi jo prejeli.
Iskal se je sistem, ki bi bil sposoben razumeti povezave med že ocenjenimi kunci in tistimi brez ocene, tako da bi bile ocene čim bližje temu, kar bi rekli sodniki.
Čim manjše so razlike, tem bolj je sistem obravnavan kot spreten in primeren za pomoč ljudem, preobremenjenima z velikim številom živali.

Vaša naloga je razviti avtomatski sistem za napovedovanje ocen za primerke, vključene v test_data.csv.

Metrika vrednotenja

Za ocenjevanje uspešnosti modela uporabljamo MSE (Mean Squared Error) — povprečno kvadratno napako. Ta meri povprečno kvadratno razliko med dejanskimi in napovedanimi vrednostmi.

Formula je:

kjer:

• y_i je dejanska ocena primerka i,
• y^_i je ocena, ki jo napove model,
• n je skupno število primerkov v testnem nizu.

Manjše vrednosti MSE kažejo na boljšo uspešnost. Čim bližje so napovedane vrednosti dejanskim, tem manjša bo napaka.

Za pretvorbo dobljenega rezultata v točke uporabljamo preprosto pravilo, ki temelji na dveh pragovih:

• Če je vrednost MSE < min → udeleženec prejme 40t (maksimalne točke).
• Če je vrednost MSE > max → udeleženec prejme 0t (minimalne točke).
• Če je vrednost MSE med min in max → se točke izračunajo sorazmerno, linearno padajo od 40t do 0t, ko se napaka povečuje.

Format izhoda

Končni rezultat mora biti CSV datoteka z imenom output.csv, ki mora vsebovati natanko 3 stolpce:

• subtaskID - predstavlja številko subtaska (1, 2, 3)
• datapointID - ki se nanaša na stolpec ID iz podatkovnega niza
• answer - odgovor, ki ustreza podatkovni točki za posamezen subtask

Opomba: Za subtask 1, kjer se zahteva en odgovor za celoten testni podatkovni niz, prikažite eno vrstico, katere datapointID naj bo 1.

Prosimo, da se vključite in pomagate organizatorjem Nacionalne razstave kuncev: zgodba o strasti in uspešnosti, razumevanju med rejci, podobnostih in razlikah med pasmami ter o poskusu videnja sveta živali s tisto potrpežljivostjo, ki jo lahko ima samo dober rejec pred prazniki.