ForgetMeNot - Stable Sentiment Unlearning

Poveste

Un sistem automat analizează recenzii de filme și stabilește dacă sentimentul este negativ sau pozitiv. Modelul a fost însă antrenat pe date în care anumite note editoriale artificiale erau corelate cu eticheta. Aceste note nu descriu opinia autorului, dar modelul a învățat să le folosească drept scurtătură.

Modelul trebuie să uite influența stilului editorial fără acces la datele originale de antrenare. Mai mult, uitarea trebuie să rămână stabilă după ce evaluatorul continuă pseudo-antrenarea modelului, deoarece informația eliminată poate reapărea în timpul actualizărilor ulterioare.

Pentru rezolvarea acestei probleme, primești modelul inițial, date auxiliare curate și o specificație a familiei de note editoriale. Trebuie să producă un nou set de parametri care păstrează clasificarea sentimentului, ignoră notele editoriale și rezistă pseudo-antrenării ascunse.

Modelul oferit

Din motive de reproductibilitate și cost, problema utilizează un clasificator logistic compact peste două reprezentări fixe:

• word n-grams de lungime 1–2;
• character n-grams de lungime 3–5.

Reprezentările folosesc hashing determinist și au în total 8192 de coordonate. Participanții nu pot schimba extractorul de caracteristici sau arhitectura; pot modifica parametrii clasificatorului și pot îngheța selectiv cel mult 15% dintre coordonate.

Etichetele sunt:

Date disponibile

Pachetul public conține:

1pretrained_model/2  state.pkl3  meta.json4​5data_public/6  proxy_train.csv7  proxy_val.csv8  proxy_challenge.csv9  public_stability_stream.csv10  forget_spec.json11  labels.json12​13starter_submission/14  solution.py15  common.py16  README.md

proxy_train.csv și proxy_val.csv conțin exemple curate din SST-2:

forget_spec.json descrie gramatica notelor editoriale. Toate expresiile generate de această gramatică sunt metadate neutre și nu trebuie să schimbe predicția modelului. Combinațiile exacte folosite la evaluare sunt ascunse.

proxy_challenge.csv conține perechi publice text_clean / text_marked, iar public_stability_stream.csv permite testarea locală a unor actualizări de tip knowledge distillation.

Datele originale folosite la antrenarea modelului inițial nu sunt oferite.

Trimiterea soluției

Participanții trimit o arhivă ZIP care conține obligatoriu solution.py direct în rădăcină. Fișierul trebuie să definească exact funcția:

1def unlearn(proxy_train_csv, pretrained_model_dir, forget_spec_json, output_dir, seed):2    ...

Funcția trebuie să salveze în output_dir:

1state.pkl2meta.json3manifest.json

și să returneze calea către manifest.json.

manifest.json trebuie să aibă forma:

1{2  "format_version": 1,3  "model_files": ["state.pkl", "meta.json"]4}

state.pkl trebuie să conțină un dicționar cu:

1{2    "format_version": 1,3    "feature_signature": "...",4    "weights": numpy.ndarray,      # shape (8192,)5    "bias": float,6    "frozen_mask": numpy.ndarray  # bool, shape (8192,)7}

Cel mult 15% dintre valorile din frozen_mask pot fi True. În etapa de stabilitate, evaluatorul nu actualizează coordonatele înghețate.

Evaluare

Pentru fiecare exemplu ascuns există un text curat x și o variantă x* care conține o notă editorială opusă etichetei reale.

Utility

1U = Macro-F1 pe textele curate

Immediate forgetting

Se calculează:

1C = Macro-F1 pe variantele cu note editoriale2I = 1 - media(|p(positive | x) - p(positive | x*)|)3F = harmonic_mean(C, I)4M_immediate = harmonic_mean(U, F)

Stable forgetting

Evaluatorul continuă modelul prin knowledge distillation către modelul inițial, folosind un flux ascuns. Modelul este verificat după 25, 50, 100, 200 și 400 de actualizări.

Pentru fiecare checkpoint se recalculează media armonică dintre utility și forgetting. Scorul de stabilitate este cea mai mică valoare observată:

1M_stable = min(M_25, M_50, M_100, M_200, M_400)

Metrica finală este:

1metric = harmonic_mean(M_immediate, M_stable)2score = 0, dacă metric ≤ 0.503score = 100, dacă metric ≥ 0.764score = 100 * (metric - 0.50) / 0.26, în rest

Evaluatorul raportează și:

• subtask1: immediate unlearning;
• subtask2: stable unlearning.

Scorul public este calculat pe 20% din exemplele ascunse, iar scorul complet pe întregul set. Clasamentul final folosește scorul complet.

Restricții

• arhiva extrasă: maximum 100 MB și 300 de fișiere;
• modelul rezultat: maximum 20 MB;
• maximum 15% coordonate înghețate;
• fără internet în timpul evaluării;
• soluția trebuie să folosească formatul fix al modelului.