Brandslukker - 9/10

Problembeskrivelse: Fire Distinguisher

Kontekst

SafeDrive Technologies, en pionervirksomhed inden for bilsikkerhed, udvikler et intelligent system til forebyggelse af katastrofer i moderne køretøjer. Med stigningen i hændelser forårsaget af overophedning og gaslækager har virksomheden brug for en Fire Distinguisher – et AI-system, der er i stand til at detektere farlige anomalier i realtid og klassificere dem korrekt.

Du er den ledende Machine Learning-ingeniør. Din opgave: at bygge det detektionssystem, der kan redde liv.

Databeskrivelse

Data stammer fra sensorer monteret i eksperimentelle køretøjer, indsamlet med intervaller på 1 sekund:

Input-sensorer:

• id: id tilknyttet registreringen
• gas_raw: Rå gaskoncentration detekteret
• temp_c: Temperatur i grader Celsius
• flame: Binær flammesensor (0 = fraværende, 1 = tilstede)
• gas_avg: Glidende gennemsnit af gaskoncentrationen
• temp_avg: Glidende gennemsnit af temperaturen
• dGas: Ændringshastighed for gas
• dTemp: Ændringshastighed for temperatur
• sensor_noise: Støj introduceret af sensoren
• timestamp_ms: Unix-tidsstempel i millisekunder
• sensor_id: Sensor-ID (S001-S005)
• battery_level: Sensorens batteriniveau
• vehicle_speed: Køretøjets hastighed
• weather_condition: Vejrforhold (sunny, rainy, cloudy, foggy)
• gas_sensor_drift: Drift i gassensoren
• ambient_temp: Omgivelsestemperatur

Target:

• label: Type af fare
  • NORMAL: Sikre forhold
  • GAS_LEAK: Gaslækage detekteret
  • OVERHEAT: Farlig overophedning
  • FIRE: Aktiv brand

Udleverede filer

• train.csv: Træningsdata med alle kolonner (inklusive label)
• test.csv: Testdata uden kolonnen label

Missionskrav

Subtask 1: Fareprofil (20 point)

Sikkerhedsteamet ønsker at forstå fordelingen og karakteristikaene for farerne i træningsdataene.

Din opgave: For train.csv, beregn følgende 12 statistikker:

1. Procentdel af aflæsninger for hver faretype (4 værdier: NORMAL, GAS_LEAK, OVERHEAT, FIRE) - afrundet til 2 decimaler
2. Gennemsnitstemperatur for hver faretype (4 værdier) - afrundet til 1 decimal
3. Gennemsnitlig gaskoncentration for hver faretype (4 værdier) - afrundet til 1 decimal

Output: 12 numeriske værdier (4 procenter + 4 temperaturer + 4 gaskoncentrationer).

Eksempel: For NORMAL: 45.32% af aflæsningerne, gennemsnitstemperatur 32.5°C, gennemsnitlig gas 245.3

Subtask 2: Anomalicscore (15 point)

Sikkerhedsteamet ønsker at identificere unormale aflæsninger, der kan indikere farlige situationer. Normale aflæsninger danner et mønster i feature-rummet — din opgave er at måle, hvor langt hver aflæsning i test-sættet er fra dette mønster.

1. Vælg de mest relevante features

• Identificer de top 6 numeriske attributter, der har den stærkeste Spearman-korrelation med faretypen (kodet: NORMAL=0, GAS_LEAK=1, OVERHEAT=2, FIRE=3)
• Ved lighed bruges alfabetisk rækkefølge

2. Forbered data

• Erstat manglende værdier med medianen (beregnet kun på train)
• Skaler data ved hjælp af standardisering (trænet på train, anvendt på test)

3. Definer NORMAL-profilen

• Brug kun registreringer med label == "NORMAL" fra train til at fastslå, hvad der menes med "normal adfærd"

4. Beregn anomalicscore

• For hver aflæsning i test, beregn Mahalanobis-distancen til centrum af NORMAL-fordelingen
• Formel: d = sqrt((x - mu)^T * Sigma^(-1) * (x - mu))
  • mu = vektorgennemsnit af NORMAL-registreringer
  • Sigma = kovariansmatrix for NORMAL-registreringer
  • For numerisk stabilitet, tilføj en lille regularisering før invertering:
    Sigma_reg = Sigma + I * 1e-6, hvor I er identitetsmatrixen
• Afrund til 2 decimaler

Output: Anomalicscore for hvert ID i test.csv.

Eksempel:

12,5234,8.9222,6567,1.2332,7891,14.45

Hint: I Python: scipy.spatial.distance.mahalanobis() eller manuel beregning med numpy.

Subtask 3: Risikoniveau (15 point)

Den rå score er ikke let at fortolke for teamet i marken. Transformer den til risikokategorier (LOW/MEDIUM/HIGH) ved hjælp af tærskelværdier baseret på historiske data.

1. Beregn tærskelværdier baseret på train

• Anvend samme procedure fra Subtask 2 på alle registreringer i train
• Beregn 33. percentil og 66. percentil for disse scores
• Disse bliver dine tærskelværdier: p33 og p66

2. Klassificer hver aflæsning fra test

Output: Risikoniveau for hvert ID i test.csv.

Eksempel:

13,5234,HIGH23,6567,LOW33,7891,HIGH

Subtask 4: Fare-klassifikator (50 point)

CORE MISSION! Dette er hjernen i Fire Distinguisher-systemet. Hvert sekund sender hundredvis af køretøjer data, og dit system skal øjeblikkeligt beslutte: er alt normalt, eller er der fare på færde? En fejl i detekteringen af en brand kan koste liv. SafeDrive regner med, at du bygger den mest præcise klassifikator muligt.

Din opgave: For hver registrering i test.csv:

• Forudsig label_name (NORMAL / GAS_LEAK / OVERHEAT / FIRE)
• Byg en multi-class klassifikationsmodel ved hjælp af de tilgængelige features

Output: Det forudsagte label (NORMAL, GAS_LEAK, OVERHEAT eller FIRE) for hver aflæsning i test.

Evaluering

Endelig score: Maksimalt 100 point.

Format for indsendelsesfil (submission.csv)

Struktur: subtaskID,datapointID,answer

Detaljer:

Subtask 1: 12 rækker med faste statistikker

• datapointID 1-4: Procenter for NORMAL, GAS_LEAK, OVERHEAT, FIRE
• datapointID 5-8: Gennemsnitstemperaturer for de 4 klasser
• datapointID 9-12: Gennemsnitlige gaskoncentrationer for de 4 klasser

Subtask 2: N rækker

• datapointID = id fra test.csv
• answer = Mahalanobis-anomalicscore (afrundet til 2 decimaler)

Subtask 3: N rækker

• datapointID = id fra test.csv
• answer = risikoniveau (LOW, MEDIUM eller HIGH)

Subtask 4: N rækker

• datapointID = id fra test.csv
• answer = forudsagt label (NORMAL, GAS_LEAK, OVERHEAT, FIRE)