Fantoma din Mașinărie (11/12)

Context

Ești inginer SRE (Site Reliability Engineer) la MegaCloud, o companie care operează un cluster de 200 de servere. Sistemul a început să se comporte ciudat: defecțiuni sporadice, reporniri neașteptate, pierderi de date.

Echipa anterioară a lăsat în urmă un sistem de monitorizare haotic: metrici numerice parțial corupte, etichete de categorie inconsistente, mesaje de alertă scrise de diferiți ingineri (fiecare cu stilul lui), și jurnale de sistem semi-structurate. Misiunea ta este să prezici care servere vor avea defecțiuni în următoarele ore.

Date de intrare

Primești două fișiere CSV:

train.csv — istoric de monitorizare cu etichete parțiale:

test.csv — același format, dar:

• failure și anomaly_score lipsesc complet (coloanele nu există)
• Conține date dintr-o perioadă nouă de monitorizare

Sarcini

Sarcina A - Clasificare binară (50 puncte)

Trebuie să antrenezi un clasificator binar capabil să prezică failure (0 sau 1) pentru fiecare rând din test.csv.

Sarcina B - Estimarea scorului de anomalie (50 puncte)

Trebuie să antrenezi un model capabil să prezică scorul de anomalie pentru fiecare rând din test.csv.

Formatul fișierului de submisie

Trebuie să generezi un fișier CSV numit, de exemplu, submission.csv, care să conțină predicțiile pentru toate rândurile din test.csv.

Fișierul de submisie trebuie să aibă exact următoarele coloane:

Format

Pentru fiecare id din test.csv, trebuie să existe două rânduri în fișierul de submisie:

• unul cu subtaskID = 1 pentru predicția de failure
• unul cu subtaskID = 2 pentru anomaly_score

Exemplu

1id,subtaskID,answer2100001,1,03100001,2,12.44100002,1,15100002,2,87.96100003,1,07100003,2,34.1

Evaluare

Punctajul total este de 100 puncte.

Soluția va fi evaluată separat pentru fiecare dintre cele două sarcini. Scorul final reprezintă suma punctajelor obținute.

Sarcina A - Clasificare binară (50 puncte)

Predicțiile pentru coloana failure vor fi evaluate folosind o metrică de clasificare binară:

• F1-score (clasa pozitivă = 1) - pentru a evalua capacitatea modelului de a identifica corect serverele care vor avea defecțiuni;

Scorul va fi scalat la un maximum de 50 de puncte.

Punctajul se acordă după cum urmează:

1score = 0 (dacă F1 ≤ 0.3)2score = 50 × (F1 - 0.3) / 0.3 (dacă 0.3 < F1 < 0.6)3score = 50 (dacă F1 ≥ 0.6)

Sarcina B - Estimarea scorului de anomalie (50 puncte)

Predicțiile pentru coloana anomaly_score vor fi evaluate folosind o metrică de regresie:

• MAE (Mean Absolute Error) - măsoară eroarea medie absolută;

Scorul va fi scalat la un maximum de 50 de puncte.

Punctajul se acordă după cum urmează:

1score = 50 (dacă MAE ≤ 8)2score = 50 × (13 - MAE) / 5 (dacă 8 < MAE < 13)3score = 0 (dacă MAE ≥ 13)

Scor final

1Scor final = Scor Sarcina A + Scor Sarcina B