Roboții vorbăreți

Poveste

În anul 2026, Agenția Națională de Securitate Cibernetică a interceptat o serie de transmisii audio cruciale venite din partea a trei facțiuni robotice suspecte, cunoscute sub numele de cod:

• Facțiunea IronClad
• Facțiunea Prism
• Facțiunea Genesis

Misiunea voastră este să descifrați secretele ascunse în aceste fișiere audio și să demascați o infiltrare majoră. Investigarea se va desfășura în trei două critice.

Toate fișierele audio sunt în format .wav. Fiecare facțiune robotică folosește un algoritm unic de sinteză, însă în cadrul aceleiași facțiuni pot exista mai multe profile vocale (voci diferite) pentru a induce în eroare investigatorii.

Task 1: Triangularea mesajelor (40 puncte)

S-a descoperit că aceste trei tipuri de roboți au transmis aceleași $100$ de mesaje secrete, dar fiecare le-a citit folosind propria tehnologie de sinteză. Agenția a interceptat un pachet de $300$ de fișiere audio.

Primiți un set de $300$ de fișiere .wav. Știind că în acest set există exact $100$ de texte unice și că fiecare text a fost citit exact o dată de către fiecare dintre cei 3 roboți, grupați fișierele în serii de câte 3. Fiecare triplet trebuie să conțină exact aceleași cuvinte rostite, dar de roboți diferiți.

Task 2: Identificarea facțiunilor (60 puncte)

Războiul undelor audio s-a intensificat. Fiecare facțiune folosește zeci de identități vocale diferite pentru a-și ascunde urmele, mutând comunicațiile pe frecvențe dinamice. Agenții noștri de pe teren au reușit totuși o lovitură de proporții: au interceptat serverul central de calibrare și au extras un set de date etichetat. Misiunea voastră este să folosiți aceste mostre pentru a antrena un sistem de recunoaștere capabil să identifice instantaneu originea oricărei transmisii noi, izolând amprenta digitală unică a celor trei tehnologii de sinteză.

Vi se pune la dispoziție un set de antrenare format din $900$ de fișiere audio etichetate (exact câte $300$ de mostre pentru fiecare dintre cele trei facțiuni: IronClad, Prism și Genesis).

Folosind aceste date pentru a învăța particularitățile acustice ale fiecărui algoritm, va trebui să analizați un set de test ce conține $400$ de fișiere audio interceptate recent. Determinați, pentru fiecare fișier din setul de test, cărei facțiuni îi aparține ($1$ pentru IronClad, $2$ pentru Prism, $3$ pentru Genesis).

Structura fișierelor de input și formatul datelor

Această secțiune clarifică modul în care sunt organizate fișierele de input pentru cele trei subtasks și cum trebuie folosite numele fișierelor în submisie.

Structura generală a datelor

Datele sunt organizate în următoarea structură de foldere:

1task1/2  001.wav3  002.wav4  ...5  300.wav6​7task2/8  task2_train.csv9  train/10    048.wav11    049.wav12    ...13  test/14    001.wav15    002.wav16    ...17    400.wav

Toate fișierele audio sunt în format .wav.

Numele fișierelor trebuie folosite exact așa cum apar în foldere, inclusiv extensia .wav.

Task 1 - Structura inputului

Folderul task1/ conține cele $300$ de fișiere .wav care trebuie grupate în $100$ de triplete.

Fiecare triplet trebuie să conțină trei fișiere audio care reprezintă același mesaj, rostit de trei roboți diferiți.

Exemplu de fișiere în folder:

1task1/2  001.wav3  002.wav4  003.wav5  ...

În fișierul de submisie, pentru Subtask 1, datapointID poate fi un identificator numeric de la 1 la 100.

Exemplu:

1datapointID,subtaskID,answer21,1,"001.wav|007.wav|009.wav"32,1,"014.wav|120.wav|233.wav"

Reguli importante:

• trebuie trimise exact 100 de linii pentru subtaskID = 1;
• fiecare valoare din answer trebuie să conțină exact 3 nume de fișiere .wav;
• cele 3 nume de fișiere se separă prin caracterul |;
• fiecare fișier din task1/ trebuie să apară exact o singură dată în toate tripletele;
• ordinea fișierelor dintr-un triplet nu contează;
• ordinea tripletelor în CSV nu contează.

Task 2 - Structura inputului

Pentru Task 2 se oferă:

• folderul task2/train/, care conține fișierele audio de antrenare;
• fișierul task2/task2_train.csv, care conține etichetele pentru fișierele din task2/train/;
• folderul task2/test/, care conține cele 400 de fișiere audio pentru care trebuie prezisă clasa.

Formatul fișierului task2/task2_train.csv

Fișierul task2/task2_train.csv folosește separatorul ; și conține următoarele coloane:

1name;class

Unde:

• name este numele fișierului .wav din folderul task2/train/;
• class este clasa facțiunii.

Clasele posibile sunt:

11 = IronClad22 = Prism33 = Genesis

Exemplu:

1name;class2048.wav;13049.wav;24050.wav;3

Folderul de test pentru Task 2

Folderul task2/test/ conține cele 400 de fișiere pentru care trebuie generate predicții.

Exemplu:

1task2/test/2  001.wav3  002.wav4  ...5  400.wav

Pentru fiecare fișier din task2/test/, submisia trebuie să conțină o linie cu:

1datapointID,subtaskID,answer2001.wav,2,13002.wav,2,34003.wav,2,2

Reguli importante:

• trebuie trimise exact 400 de linii pentru subtaskID = 2;
• datapointID este numele fișierului audio din task2/test/;
• nu se include calea completă, de exemplu se scrie 001.wav, nu task2/test/001.wav;
• answer trebuie să fie una dintre valorile 1, 2, 3.

Atenție: fișierele de antrenare pentru Task 2 nu sunt organizate în subfoldere pe clase. Etichetele se citesc din fișierul task2/task2_train.csv.

Format fișier de submisie

Fișierul de submisie va fi un fișier CSV cu următoarele coloane:

1datapointID,subtaskID,answer

Unde:

• datapointID identifică datapoint-ul evaluat;
• subtaskID identifică subtask-ul: 1 sau 2;
• answer conține predicția participantului.

Subtask 1 - Triangularea mesajelor

Pentru Subtask 1, fiecare linie reprezintă un triplet format din numele a 3 fișiere care conțin același mesaj.

Format

1datapointID,subtaskID,answer21,1,"001.wav|007.wav|009.wav"32,1,"014.wav|120.wav|233.wav"43,1,"002.wav|088.wav|177.wav"

Reguli

• trebuie trimise exact 100 de linii pentru subtaskID = 1;
• fiecare valoare din answer trebuie să conțină exact 3 nume de fișiere .wav;
• fișierele dintr-un triplet vor fi separate prin caracterul |;
• fiecare fișier dintre cele 300 trebuie să apară exact o singură dată;
• ordinea fișierelor în interiorul unui triplet nu contează;
• ordinea tripletelor în fișier nu contează la fel și ordinea pentru datapointID.

Exemplu de răspuns valid

1datapointID,subtaskID,answer21,1,"001.wav|007.wav|009.wav"32,1,"014.wav|120.wav|233.wav"

Subtask 2 - Identificarea facțiunilor

Pentru Subtask 2, fiecare linie reprezintă predicția pentru un fișier audio din setul de test.

Format

1datapointID,subtaskID,answer2001.wav,2,13002.wav,2,34003.wav,2,2

Clase

Valoarea din coloana answer trebuie să fie una dintre:

11 = IronClad22 = Prism33 = Genesis

Reguli

• trebuie trimise exact 400 de linii pentru subtaskID = 2;
• datapointID este numele fișierului audio din test;
• answer trebuie să fie una dintre valorile 1, 2, 3.

Exemplu complet de fișier de submisie

1datapointID,subtaskID,answer21,1,"001.wav|007.wav|009.wav"32,1,"014.wav|120.wav|233.wav"43,1,"002.wav|088.wav|177.wav"5001.wav,2,16002.wav,2,37003.wav,2,2

Metrici de evaluare

Subtask 1 - Triplete corecte

Pentru Subtask 1, se evaluează câte triplete au fost identificate corect.

Un triplet este considerat corect dacă cele 3 fișiere din predicție corespund exact aceluiași mesaj din ground truth.

Ordinea fișierelor din triplet nu contează.

Exemplu

1Ground truth:2001.wav|007.wav|009.wav3​4Predicție:5009.wav|001.wav|007.wav

Acest triplet este considerat corect.

Metrică

1score_task1 = număr_triplete_corecte / 100

Punctajul pentru Subtask 1 este:

1punctaj_task1 = 40 * score_task1

Cazuri invalide

Un triplet poate fi considerat invalid dacă:

• conține mai puțin sau mai mult de 3 fișiere;
• conține fișiere inexistente;
• conține același fișier de mai multe ori;
• folosește un fișier care apare deja într-un alt triplet;
• conține fișiere care nu aparțin aceluiași mesaj.

Tripletele invalide primesc 0 puncte.

Subtask 2 - Accuracy multiclasă

Pentru Subtask 2, se folosește accuracy.

Se compară eticheta prezisă cu eticheta reală pentru fiecare dintre cele 400 de fișiere din test.

Metrică

1accuracy_task2 = număr_predicții_corecte / 400

Punctajul pentru Subtask 2 este:

1punctaj_task2 = 60 * accuracy_task2

Observație: Dacă $accuracy \ge 0.85$ pentru task-ul 2, atunci primiți punctaj maxim.

Scor final

Scorul final este suma punctajelor celor două task-uri.

1scor_final = punctaj_task1 + punctaj_task2

Metrica generală afișată este calculată ca medie aritmetică între metricile de la cele 2 task-uri.