Newsroom Expansion

Poveste

O redacție utilizează un model automat pentru clasificarea articolelor. Modelul inițial a fost antrenat pe două subiecte:

Ulterior, redacția adaugă două subiecte noi:

Pentru rezolvarea acestei probleme, primiți modelul rezultat după prima fază și date etichetate numai pentru clasele noi. Exemplele utilizate la antrenarea inițială nu sunt disponibile.

Scopul este adaptarea modelului la noile clase fără pierderea excesivă a cunoștințelor despre clasele vechi. Fenomenul prin care un model uită sarcinile anterioare după antrenarea pe date noi se numește catastrophic forgetting.

Datele furnizate

Pachetul public conține:

1pretrained_model/2    state.pkl3    meta.json4    MODEL_CARD.md5​6data_public/7    phase2_train.csv8    phase2_val.csv9    sample_test.csv10    sample_prediction_format.csv11    labels.json12​13starter_submission/14    solution.py15    common.py16    README.md

Modelul Phase 1

Directorul pretrained_model/ conține checkpoint-ul obligatoriu de pornire. Modelul este un clasificator liniar cu softmax peste o reprezentare textuală cu feature hashing.

Fișierul state.pkl conține:

Descrierea exactă a reprezentării și dimensiunile tuturor tensorilor se găsesc în pretrained_model/meta.json și pretrained_model/MODEL_CARD.md.

Participanții pot folosi sau ignora statisticile auxiliare, dar evaluatorul apelează întotdeauna adapt pornind de la checkpoint-ul oferit. Nu este permisă înlocuirea checkpoint-ului înaintea acestui apel.

Datele Phase 2

Fișierele phase2_train.csv și phase2_val.csv conțin numai clasele 2 și 3.

Formatul este:

Exemplu:

1datapointID,subtaskID,text,answer2train_00003,1,"Exemplu de articol din domeniul economic...",2

sample_test.csv este oferit exclusiv pentru verificarea interfeței. Nu este setul folosit la clasament.

Ce trebuie trimis?

Trebuie încărcată o arhivă ZIP. În rădăcina arhivei trebuie să existe obligatoriu:

1solution.py

Pot fi incluse și alte fișiere sau directoare auxiliare. Spre exemplu, poate avea următorul conținut arhiva:

1solution.py2common.py3src/4    model.py

Nu este acceptată structura:

1submission/2    solution.py

pentru că solution.py nu se află direct în rădăcina arhivei.

Arhiva trebuie să aibă cel mult 50 MB, cel mult 500 de fișiere, iar conținutul dezarhivat trebuie să aibă cel mult 100 MB.

Funcțiile obligatorii

Fișierul solution.py trebuie să definească exact următoarele funcții.

Adaptarea la Phase 2

1def adapt(phase2_train_csv: str, pretrained_model_dir: str, output_dir: str, seed: int) -> str:2    ...

Argumentele sunt:

Funcția trebuie să returneze calea către un fișier JSON aflat în output_dir.

Manifestul trebuie să aibă forma:

1{2  "format_version": 1,3  "model_files": ["state.pkl", "meta.json"]4}

Toate fișierele modelului final trebuie enumerate în model_files. Modelul rezultat poate avea cel mult 100 MB și cel mult 500 de fișiere.

Predicția

1def predict(test_csv: str, model_dir: str) -> pandas.DataFrame:2    ...

test_csv conține coloanele:

1datapointID,subtaskID,text

Funcția trebuie să returneze un pandas.DataFrame cu exact coloanele, în această ordine:

1datapointID,subtaskID,answer

Pentru fiecare articol, answer trebuie să fie una dintre valorile:

10213243

DataFrame-ul trebuie să conțină exact identificatorii primiți în fișierul de test, fără duplicate, lipsuri sau valori suplimentare.

Protocolul de rulare

Evaluatorul problemei primește direct arhiva ZIP și execută automat ambele funcții obligatorii. Participantul nu trebuie să trimită separat un fișier CSV cu predicții.

Evaluatorul apelează:

1adapt(2    phase2_train_csv=...,3    pretrained_model_dir=...,4    output_dir=...,5    seed=20260712,6)

Evaluatorul apelează:

1predict(test_csv=..., model_dir=...)

DataFrame-ul returnat este validat și punctat automat.

Evaluare

Setul ascuns conține 1200 de articole, echilibrate între cele patru clase.

Se calculează:

• F_old: macro-F1 pentru clasele 0 și 1;
• F_new: macro-F1 pentru clasele 2 și 3.

Metrica finală este media armonică:

1metric = 2 * F_old * F_new / (F_old + F_new)

Dacă F_old = 0 sau F_new = 0, atunci:

1metric = 0

Această metrică penalizează o soluție care învață bine clasele noi, dar uită complet clasele vechi.

Punctajul se calculează astfel:

1score = 0, dacă metric ≤ 0.502score = 100, dacă metric ≥ 0.663score = 100 × (metric - 0.50) / 0.16, în rest

Scor public și scor privat

• scorul public este calculat pe 20% din setul ascuns, stratificat cu același număr de exemple din fiecare clasă;
• scorul privat este calculat pe întregul set ascuns;
• clasamentul final utilizează scorul privat.