Nacionālā truša izstāde

Nacionālā truša izstāde

Redakcija

Decembra mēnesī ar lielām un klusām sniegpārslām, kad ciems vēl smaržoja pēc sadegušas malkas un svaigas siena no šķūņiem, valsts vidū atvērās Nacionālās Truša izstādes vārti. Apsildītajās hallēs, mirdzot zeltaino gaismu starā, audzētāji no visiem valsts nostūriem ar cerībām atveda savus skaistākos un vislabāk aprūpētos dzīvniekus.

Trīs lielo truša šķirņu eksemplāri (katrai ar labi iesakņotiem izskatiem un ieradumiem) atkal satikās vienā vietā.

Katrs dzīvnieks saņēma plāksnīti ar ID, un biezā, ādā iesietā reģistrā tika ierakstītas visas pazīmes, kas to atšķīra no citiem:

dzimums, svars, ausu garums, vai ausis ir karājošās vai ne, spalvas krāsa, vecums, spalvas tips un kvalitāte, ķermeņa forma, vai ir vai nav kakla maiss, kā arī veselības stāvoklis.

Tā bija organizatoru veids, kā saglabāt pilnīgu liecību par katru spalvaino dvēseli, kas ienāca hallē.

Apakšuzdevums 1 (20 punkti)

Organizatori vēlas zināt, cik no uz izstādi atvestajām mātītēm bija karājošās ausis un nēsāja cēlo havanas nokrāsu. Rezultāts jānosaka, pamatojoties uz testa datu kopu (test_data.csv).

Nekas sarežģīts, tikai jāveic rūpīga meklēšana reģistros, lai sniegtu šo atbildi.

Apakšuzdevums 2 (40 punkti)

Aukstā rītā, kad elpas tvaiks vēl pacēlās hallē, organizatori atklāja, ka svarīga lappuse no oficiālā reģistra bija pazudusi.
Katra truša šķirne, tik rūpīgi atzīmēta citos gados, nekur vairs nebija atrodama.
Bija atvesti trīs dažādu šķirņu eksemplāri, tas bija zināms droši, bet pazīmes, kas tos tieši identificēja, bija pazudušas.

Tie, kas labi pazina trušus, tika lūgti pacietīgi novērot visus eksemplārus un identificēt trīs dabiskas grupas, izmantojot tikai atzīmētās īpašības: līdzības, atšķirības, skaidras robežas, zonas, kur dzīvnieki šķita tuvi vai attāli pēc izskata. Rezultāts jānosaka, pamatojoties uz testa datu kopu (test_data.csv).

Novērtēšanas metrika

Lai novērtētu, cik labi atbilst sadalījums šķirnēs, tiek izmantots Adjusted Rand Index (ARI), kas mēra līdzību starp diviem sadalījumiem, koriģējot nejaušo sakritību.

ARI koeficients diviem sadalījumiem ir definēts kā:

kur:

• RI apzīmē Rand indeksu starp diviem sadalījumiem;
• E[RI] ir Rand indeksa sagaidāmā vērtība nejaušiem sadalījumiem.

Ja iegūtais skaitlis ir tuvu 1, tas nozīmē, ka sadalījums šķirnēs tika veikts prasmīgi un šķirņu īpašību robežas tika pareizi identificētas. Izstādes organizatori ir ļoti prasīgi un piešķir maksimālo punktu skaitu šim apakšuzdevumam tikai tad, ja novērtēšanas metrikai iegūtā vērtība ir 1.

Apakšuzdevums 3 (40 punkti)

Tajā decembrī dalībnieku skaits bija tik liels, ka tiesneši, lai cik centušies, nevarēja novērtēt visus dzīvniekus.
Tikai daļa no tiem bija saņēmusi Žūrijas vērtējumu starp 0 un 100.

• Vērtējums ir skaitlis starp 0 un 100, kur:
  • 0 nozīmē, ka eksemplārs tika diskvalificēts
  • 100 nozīmē, ka eksemplārs ir tāds, ko var pasludināt par čempionu

Pārējiem trušiem, kas vēl nebija atzīmēti, bija jāatrod veids, kā uzminēt vērtējumu, ko tie būtu saņēmuši.
Tika meklēta sistēma, kas spētu saprast saites starp jau novērtētajiem trušiem un tiem, kas palika bez vērtējuma, lai novērtējumi būtu pēc iespējas tuvāki tam, ko būtu teikuši tiesneši.
Jo mazākas atšķirības, jo sistēma tiek uzskatīta par prasmīgāku un piemērotāku, lai palīdzētu cilvēkiem, kurus pārņēmis liels dzīvnieku skaits.

Jūsu uzdevums ir izstrādāt automātisku vērtējumu prognozēšanas sistēmu eksemplāriem, kas iekļauti test_data.csv.

Novērtēšanas metrika

Modeļa veiktspējas novērtēšanai izmantojam MSE (Mean Squared Error) — vidējo kvadrātisko kļūdu. Tā mēra vidējo kvadrātisko atšķirību starp reālajām un prognozētajām vērtībām.

Formula ir:

kur:

• y_i ir eksemplāra i reālais vērtējums,
• y^_i ir modeļa prognozētais vērtējums,
• n ir kopējais eksemplāru skaits testa kopā.

Mazākas MSE vērtības norāda uz labāku veiktspēju. Jo tuvākas prognozētās vērtības ir reālajām, jo mazāka būs kļūda.

Lai pārvērstu iegūto rezultātu punktos, izmantojam vienkāršu noteikumu, pamatojoties uz diviem sliekšņiem:

• Ja MSE vērtība < min → dalībnieks saņem 40p (maksimālie punkti).
• Ja MSE vērtība > max → dalībnieks saņem 0p (minimālie punkti).
• Ja MSE vērtība ir starp min un max → punkti tiek aprēķināti proporcionāli, lineāri samazinoties no 40p līdz 0p, palielinoties kļūdai.

Izvades formāts

Gala rezultātam jābūt CSV failam ar nosaukumu output.csv, kas satur tieši 3 kolonnas:

• subtaskID - apzīmē apakšuzdevuma numuru (1, 2, 3)
• datapointID - kas attiecas uz kolonnu ID no datu kopas
• answer - atbilde, kas atbilst datu punktam attiecīgajam apakšuzdevumam

Piezīme: 1. apakšuzdevumam, kur tiek prasīta viena atbilde visai testa datu kopai, parādiet vienu rindu, kuras datapointID ir 1.

Lūdzam iesaistīties un palīdzēt Nacionālās Truša izstādes organizatoriem: stāsts par aizraušanos un sniegumu, sapratni starp audzētājiem, līdzībām un atšķirībām starp šķirnēm un par mēģinājumu redzēt dzīvnieku pasauli ar to pacietību, kāda tikai labam audzētājam var būt svētku priekšvakarā.