Arhiva contradicțiilor

Poveste

Agenția internațională de fact-checking VeritasAI monitorizează zilnic mii de afirmații publice - din declarații politice, articole de presă, postări pe rețele sociale și rapoarte oficiale. Pentru fiecare afirmație, analiștii trebuie să consulte o arhivă enciclopedică uriașă și să stabilească dacă afirmația este susținută de surse, contrazisă de acestea sau imposibil de verificat cu informațiile disponibile.

Până acum, verificarea era făcută manual de o echipă de jurnaliști de investigație. Dar volumul afirmațiilor a crescut exponențial, iar echipa nu mai face față. Directorul editorial a decis: VeritasAI are nevoie de un sistem automat.

Arhiva conține milioane de paragrafe extrase din Wikipedia. Sistemul tău trebuie să caute automat informațiile relevante și să raționeze logic. Exact ca un analist uman de OSINT, dar la viteza unui computer.

Ești recrutat să construiești acest sistem. Reputația agenției și adevărul depind de tine.

Cerință

Se dau trei fișiere de intrare:

• train.csv — afirmații pentru care verdictul este cunoscut
• public_test.csv — afirmații pentru care trebuie să prezici verdictul
• wiki_pages.csv — corpusul enciclopedic de referință (extras din Wikipedia)

Fiecare afirmație trebuie clasificată în una dintre trei categorii:

Sistemul tău trebuie să caute automat dovezile relevante în wiki_pages.csv și să determine verdictul pe baza lor.

Rezultatul va fi salvat într-un fișier submission.csv.

Formatul fișierelor

train.csv

Conține afirmații cu verdict cunoscut.

Exemplu:

1id,claim,label275397,"Nikolaj Coster-Waldau worked with the Fox Broadcasting Company.",SUPPORTS3137334,"Ukrainian Soviet Socialist Republic was a founding member of the UN.",SUPPORTS487432,"The Battle of Shiloh took place in 1864.",REFUTES5113021,"The actor appeared in a film directed by an unknown director.",NOT ENOUGH INFO

public_test.csv

Conține afirmații fără verdict — acestea trebuie clasificate de sistemul tău.

Exemplu:

1id,claim219001,"The Eiffel Tower is located in Berlin."319002,"Marie Curie was awarded the Nobel Prize in Physics."419003,"The director won an award at an unspecified festival."

wiki_pages.csv

Corpusul enciclopedic de referință. Fiecare rând reprezintă un document Wikipedia.

Exemplu:

1doc_id,text,lines2Eiffel_Tower,"The Eiffel Tower is a wrought-iron lattice tower...","0\tThe Eiffel Tower is a wrought-iron lattice tower on the Champ de Mars in Paris.\n1\tIt was constructed from 1887 to 1889.\n"3Marie_Curie,"Marie Curie was a Polish and naturalised-French physicist...","0\tMarie Curie was a Polish and naturalised-French physicist and chemist.\n1\tShe was the first woman to win a Nobel Prize.\n"

submission.csv

Fișierul pe care trebuie să îl generezi și să îl trimiți.

Exemplu:

1id,subtaskID,label219001,1,SUPPORTS319002,1,REFUTES419003,1,NOT ENOUGH INFO

Constrângeri format:

• Fișierul trebuie să conțină exact toate id-urile din public_test.csv
• Câmpul label acceptă doar valorile: SUPPORTS, REFUTES, NOT ENOUGH INFO
• Nu sunt permise id-uri duplicate

Observații

• Nu este permisă utilizarea etichetelor sau a evidenței corecte furnizate de benchmark-ul original FEVER.
• Sistemul trebuie să realizeze retrieval automat din wiki_pages.csv - informația relevantă nu este indicată.
• Sunt permise orice tehnici de procesare a limbajului natural și de învățare automată.

Evaluare

Soluțiile sunt evaluate pe baza Macro F1-score — media aritmetică a scorurilor F1 pe fiecare clasă în parte.
Această metrică penalizează soluțiile care ignoră clasele mai rare (ex. REFUTES).

Calculul punctajului:

Referințe

[1] Thorne, J., Vlachos, A., Christodoulopoulos, C., and Mittal, A., "FEVER: a large-scale dataset for Fact Extraction and VERification", Proceedings of NAACL-HLT, 2018.

Documentație