Gasilni aparat - 9/10

Opis težave: Fire Distinguisher

Kontekst

SafeDrive Technologies, pionirsko podjetje na področju avtomobilske varnosti, razvija inteligenten sistem za preprečevanje nesreč za sodobna vozila. Zaradi naraščajočega števila incidentov, ki jih povzročajo pregrevanje in uhajanje plina, podjetje potrebuje Fire Distinguisher – sistem AI, ki je sposoben v realnem času zaznati nevarne anomalije in jih pravilno klasificirati.

Vi ste glavni inženir strojnega učenja. Vaša naloga: zgraditi sistem za zaznavanje, ki lahko rešuje življenja.

Opis podatkov

Podatki prihajajo iz senzorjev, nameščenih v eksperimentalnih vozilih, zbranih v intervalih 1 sekunde:

Vhodni senzorji:

• id: ID, povezan z zapisom
• gas_raw: Surova koncentracija zaznanega plina
• temp_c: Temperatura v stopinjah Celzija
• flame: Binarni senzor plamena (0 = ni prisoten, 1 = prisoten)
• gas_avg: Drseče povprečje koncentracije plina
• temp_avg: Drseče povprečje temperature
• dGas: Stopnja spremembe plina
• dTemp: Stopnja spremembe temperature
• sensor_noise: Šum, ki ga uvaja senzor
• timestamp_ms: Unix časovni žig v milisekundah
• sensor_id: ID senzorja (S001-S005)
• battery_level: Raven baterije senzorja
• vehicle_speed: Hitrost vozila
• weather_condition: Vremenske razmere (sunny, rainy, cloudy, foggy)
• gas_sensor_drift: Drift senzorja plina
• ambient_temp: Temperatura okolice

Cilj (Target):

• label: Vrsta nevarnosti
  • NORMAL: Varni pogoji
  • GAS_LEAK: Zaznano uhajanje plina
  • OVERHEAT: Nevarno pregrevanje
  • FIRE: Aktivni požar

Priložene datoteke

• train.csv: Učni podatki z vsemi stolpci (vključno z label)
• test.csv: Testni podatki brez stolpca label

Zahteve misije

Podnaloga 1: Profil nevarnosti (20 točk)

Varnostna ekipa želi razumeti porazdelitev in značilnosti nevarnosti v učnih podatkih.

Vaša naloga: Za train.csv izračunajte naslednjih 12 statistik:

1. Odstotek odčitkov za vsako vrsto nevarnosti (4 vrednosti: NORMAL, GAS_LEAK, OVERHEAT, FIRE) – zaokroženo na 2 decimalni mesti
2. Povprečna temperatura za vsako vrsto nevarnosti (4 vrednosti) – zaokroženo na 1 decimalno mesto
3. Povprečna koncentracija plina za vsako vrsto nevarnosti (4 vrednosti) – zaokroženo na 1 decimalno mesto

Izhod: 12 numeričnih vrednosti (4 odstotki + 4 povprečne temperature + 4 povprečne koncentracije plina).

Primer: Za NORMAL: 45.32 % odčitkov, povprečna temperatura 32.5 °C, povprečni plin 245.3

Podnaloga 2: Rezultat anomalije (15 točk)

Varnostna ekipa želi identificirati nenormalne odčitke, ki bi lahko kazali na nevarne situacije. Normalni odčitki tvorijo vzorec v prostoru značilk (features) — vaša naloga je izmeriti, kako daleč je vsak odčitek iz testa od tega vzorca.

1. Izberite najpomembnejše značilke (features)

• Identificirajte top 6 numeričnih atributov, ki imajo najmočnejšo Spearmanovo korelacijo z vrsto nevarnosti (kodirano: NORMAL=0, GAS_LEAK=1, OVERHEAT=2, FIRE=3)
• V primeru izenačenja uporabite abecedni vrstni red

2. Pripravite podatke

• Manjkajoče vrednosti nadomestite z mediano (izračunano samo na train)
• Podatke skalirajte s standardizacijo (naučeno na train, uporabljeno na test)

3. Definirajte profil NORMAL

• Uporabite samo zapise z label == "NORMAL" iz train, da določite, kaj pomeni "normalno vedenje"

4. Izračunajte rezultat anomalije

• Za vsak odčitek iz testa izračunajte Mahalanobisovo razdaljo do centra porazdelitve NORMAL
• Formula: d = sqrt((x - mu)^T * Sigma^(-1) * (x - mu))
  • mu = vektorsko povprečje zapisov NORMAL
  • Sigma = kovariančna matrika zapisov NORMAL
  • Za numerično stabilnost dodajte majhno regularizacijo pred invertiranjem:
    Sigma_reg = Sigma + I * 1e-6, kjer je I identititna matrika
• Zaokrožite na 2 decimalni mesti

Izhod: Rezultat anomalije za vsak ID iz test.csv.

Primer:

12,5234,8.9222,6567,1.2332,7891,14.45

Namig: V Pythonu: scipy.spatial.distance.mahalanobis() ali ročni izračun z numpy.

Podnaloga 3: Stopnja tveganja (15 točk)

Pridobljeni surovi rezultat ekipi na terenu ni enostavno razumljiv. Pretvorite ga v kategorije tveganja (LOW/MEDIUM/HIGH) z uporabo pragov na podlagi zgodovinskih podatkov.

1. Izračunajte prage na podlagi train

• Uporabite enak postopek iz podnaloge 2 na vseh zapisih v train
• Izračunajte 33. percentil in 66. percentil teh rezultatov
• To postanejo vaši pragi: p33 in p66

2. Klasificirajte vsak odčitek iz testa

Izhod: Stopnja tveganja za vsak ID iz test.csv.

Primer:

13,5234,HIGH23,6567,LOW33,7891,HIGH

Podnaloga 4: Klasifikator nevarnosti (50 točk)

CORE MISSION! To so možgani sistema Fire Distinguisher. Vsako sekundo na stotine vozil oddaja podatke, vaš sistem pa se mora v trenutku odločiti: je vse normalno ali obstaja nevarnost? Napaka pri zaznavanju požara lahko stane življenja. SafeDrive računa na vas, da zgradite čim bolj natančen klasifikator.

Vaša naloga: Za vsak zapis v test.csv:

• Napovejte label_name (NORMAL / GAS_LEAK / OVERHEAT / FIRE)
• Zgradite model za večrazredno klasifikacijo (multi-class) z uporabo razpoložljivih značilk

Izhod: Napovedana oznaka (NORMAL, GAS_LEAK, OVERHEAT ali FIRE) za vsak odčitek iz testa.

Vrednotenje

Končni rezultat: največ 100 točk.

Format datoteke za oddajo (submission.csv)

Struktura: subtaskID,datapointID,answer

Podrobnosti:

Podnaloga 1: 12 vrstic s fiksnimi statistikami

• datapointID 1-4: Odstotki za NORMAL, GAS_LEAK, OVERHEAT, FIRE
• datapointID 5-8: Povprečne temperature za 4 razrede
• datapointID 9-12: Povprečne koncentracije plina za 4 razrede

Podnaloga 2: N vrstic

• datapointID = id iz test.csv
• answer = Mahalanobisov rezultat anomalije (zaokrožen na 2 decimalni mesti)

Podnaloga 3: N vrstic

• datapointID = id iz test.csv
• answer = stopnja tveganja (LOW, MEDIUM ali HIGH)

Podnaloga 4: N vrstic

• datapointID = id iz test.csv
• answer = napovedana oznaka (NORMAL, GAS_LEAK, OVERHEAT, FIRE)