Nacionalna izložba zečeva

Nacionalna izložba zečeva

Editorial

U prosinačkom mjesecu s velikim i tihim pahuljicama, kada je selo još uvijek mirisalo na spaljeno drvo i svježe sijeno izvađeno iz stodola, u sredini zemlje otvarala su se vrata Nacionalne izložbe zečeva. U grijanim halama, blistajući pod žutim svjetlima, uzgajivači iz svih krajeva zemlje donosili su s nadom najljepše i najbolje uzdržavane životinje.

Primjerci iz tri velike pasmine zečeva (svaka s dobro ukorijenjenim izgledom i navikama) trebali su se ponovno susresti na istom mjestu.

Svaka životinja dobivala je pločicu s ID-om, a u debelu knjigu, uvezanu u kožu, upisivali su se svi znakovi koji je razlikuju od ostalih:

spol, težinu, duljinu ušiju, jesu li joj uši viseće ili ne, boju krzna, dob, tip i kvalitetu krzna, oblik tijela, ima li ili nema gušu, kao i stanje zdravlja.

To je bio način organizatora da sačuvaju potpunu dokumentaciju o svakoj krznaškoj duši koja je ušla u halu.

Subtask 1 (20 bodova)

Organizatori žele znati koliko je ženki dovedenih na izložbu imalo viseće uši i nosilo plemenitu nijansu havana. Rezultat trebate odrediti na temelju test skupa (test_data.csv).

Ništa složeno, trebate samo pažljivo pretraživanje kroz registre kako biste im dali ovaj odgovor.

Subtask 2 (40 bodova)

Jednog hladnog jutra, para od daha još se dizala u hali, a organizatori su otkrili da je važna stranica nestala iz službene knjige.
Pasmina svakog zeca, tako pažljivo zabilježena u drugim godinama, više se nigdje nije mogla naći.
Dovedeni su primjerci iz tri različite pasmine, to se znalo sa sigurnošću, ali znakovi koji su ih izravno identificirali nestali su.

Oni koji su dobro poznavali zečeve zamoljeni su da strpljivo promatraju sve primjerke i identificiraju tri prirodne grupe, koristeći se samo zabilježenim svojstvima: sličnostima, razlikama, jasnim granicama, područjima gdje su životinje izgledale bliske ili udaljene po izgledu. Rezultat trebate odrediti na temelju test skupa (test_data.csv).

Metrika evaluacije

Za evaluaciju koliko se dobro poklapaju podjele u pasmine koristi se Adjusted Rand Index (ARI), koji mjeri sličnost između dvije podjele, prilagođavajući za slučajno poklapanje.

ARI koeficijent za dvije podjele definiran je kao:

gdje:

• RI predstavlja Rand indeks između dvije podjele;
• E[RI] je očekivana vrijednost Rand indeksa za slučajne podjele.

Ako je dobiveni broj blizu 1, to znači da je podjela u pasmine napravljena vješto i da su granice između karakteristika pasmina ispravno identificirane. Organizatori izložbe vrlo su zahtjevni i daju maksimalni broj bodova za ovaj subtask samo ako je dobivena vrijednost za metriku evaluacije 1.

Subtask 3 (40 bodova)

U tom prosincu broj sudionika bio je toliko velik da suci, koliko god se trudili, nisu mogli suditi sve životinje.
Samo je dio njih dobio Ocjenu žirija, između 0 i 100.

• Ocjena je broj između 0 i 100, gdje:
  • 0 znači da je primjerak diskvalificiran
  • 100 znači da je primjerak onaj koji može biti proglašen prvakom

Za ostale zečeve, još neoznačene, trebalo je naći način da se pogodi ocjena koju bi dobili.
Tražio se sustav sposoban razumjeti veze između već ocijenjenih zečeva i onih koji su ostali bez ocjene, tako da procjene budu što bliže onome što bi rekli suci.
Što su razlike manje, to se sustav smatra vještijim i prikladnijim za pomoć ljudima preplavljenima velikim brojem životinja.

Vaš zadatak je razviti automatski sustav za predviđanje ocjena za primjerke uključene u test_data.csv.

Metrika evaluacije

Za evaluaciju performansi modela koristimo MSE (Mean Squared Error) — srednju kvadratnu grešku. Ona mjeri srednju kvadratnu razliku između stvarnih i predviđenih vrijednosti.

Formula je:

gdje:

• y_i je stvarna ocjena primjerka i,
• y^_i je ocjena predviđena modelom,
• n je ukupan broj primjeraka u test skupu.

Manje vrijednosti MSE označavaju bolju performansu. Što su predviđene vrijednosti bliže stvarnima, to će greška biti manja.

Za pretvaranje dobivene ocjene u bodove koristimo jednostavno pravilo, temeljeno na dva praga:

• Ako je vrijednost MSE < min → sudionik dobiva 40b (maksimalni broj bodova).
• Ako je vrijednost MSE > max → sudionik dobiva 0b (minimalni broj bodova).
• Ako je vrijednost MSE između min i max → bodovi se računaju proporcionalno, linearno se smanjujući od 40b do 0b kako greška raste.

Format izlaza

Konačni rezultat mora biti CSV datoteka nazvana output.csv, koja mora sadržavati točno 3 stupca:

• subtaskID - predstavlja broj subtaska (1, 2, 3)
• datapointID - koji se odnosi na stupac ID iz skupa podataka
• answer - odgovor koji odgovara podatkovnoj točki za odgovarajući subtask

Napomena: Za subtask 1, za koji se traži jedan odgovor za cijeli test skup podataka, prikažite jedan red čiji datapointID bude 1.

Molimo vas da se uključite i pomognete organizatorima Nacionalne izložbe zečeva: priča o strasti i performansama, razumijevanju između uzgajivača, sličnostima i razlikama između pasmina i o pokušaju gledanja svijeta životinja s onom strpljivošću koju samo dobar uzgajivač može imati uoči blagdana.