Arhiva contradicțiilor

Arhiva contradicțiilor - 难度: HARD

返回 Lot - Proba 2 - Olimpiada Națională de Inteligență Artificială 2026

竞赛已结束

归档题目

竞赛：Lot - Proba 2 - Olimpiada Națională de Inteligență Artificială 2026

题目描述

Poveste

Agenția internațională de fact-checking VeritasAI monitorizează zilnic mii de afirmații publice - din declarații politice, articole de presă, postări pe rețele sociale și rapoarte oficiale. Pentru fiecare afirmație, analiștii trebuie să consulte o arhivă enciclopedică uriașă și să stabilească dacă afirmația este susținută de surse, contrazisă de acestea sau imposibil de verificat cu informațiile disponibile.

Până acum, verificarea era făcută manual de o echipă de jurnaliști de investigație. Dar volumul afirmațiilor a crescut exponențial, iar echipa nu mai face față. Directorul editorial a decis: VeritasAI are nevoie de un sistem automat.

Arhiva conține milioane de paragrafe extrase din Wikipedia. Sistemul tău trebuie să caute automat informațiile relevante și să raționeze logic. Exact ca un analist uman de OSINT, dar la viteza unui computer.

Ești recrutat să construiești acest sistem. Reputația agenției și adevărul depind de tine.

Cerință

Se dau trei fișiere de intrare:

train.csv — afirmații pentru care verdictul este cunoscut
public_test.csv — afirmații pentru care trebuie să prezici verdictul
wiki_pages.csv — corpusul enciclopedic de referință (extras din Wikipedia)

Fiecare afirmație trebuie clasificată în una dintre trei categorii:

Etichetă	Semnificație
`SUPPORTS`	Afirmația este susținută de informațiile din corpus
`REFUTES`	Afirmația este contrazisă de informațiile din corpus
`NOT ENOUGH INFO`	Afirmația nu poate fi verificată cu informațiile disponibile

Sistemul tău trebuie să caute automat dovezile relevante în wiki_pages.csv și să determine verdictul pe baza lor.

Rezultatul va fi salvat într-un fișier submission.csv.

Formatul fișierelor

`train.csv`

Conține afirmații cu verdict cunoscut.

Câmp	Tip	Descriere
`id`	întreg	Identificator unic al afirmației
`claim`	string	Textul afirmației de verificat
`label`	string	Verdictul corect: `SUPPORTS`, `REFUTES` sau `NOT ENOUGH INFO`

Exemplu:

Python
1id,claim,label275397,"Nikolaj Coster-Waldau worked with the Fox Broadcasting Company.",SUPPORTS3137334,"Ukrainian Soviet Socialist Republic was a founding member of the UN.",SUPPORTS487432,"The Battle of Shiloh took place in 1864.",REFUTES5113021,"The actor appeared in a film directed by an unknown director.",NOT ENOUGH INFO

`public_test.csv`

Conține afirmații fără verdict — acestea trebuie clasificate de sistemul tău.

Câmp	Tip	Descriere
`id`	întreg	Identificator unic
`claim`	string	Textul afirmației de verificat

Exemplu:

Python
1id,claim219001,"The Eiffel Tower is located in Berlin."319002,"Marie Curie was awarded the Nobel Prize in Physics."419003,"The director won an award at an unspecified festival."

`wiki_pages.csv`

Corpusul enciclopedic de referință. Fiecare rând reprezintă un document Wikipedia.

Câmp	Tip	Descriere
`doc_id`	string	Titlul documentului (ex. `Eiffel_Tower`)
`text`	string	Textul complet al documentului
`lines`	string	Propozițiile indexate, format: `index\tpropoziție\n`

Exemplu:

Python
1doc_id,text,lines2Eiffel_Tower,"The Eiffel Tower is a wrought-iron lattice tower...","0\tThe Eiffel Tower is a wrought-iron lattice tower on the Champ de Mars in Paris.\n1\tIt was constructed from 1887 to 1889.\n"3Marie_Curie,"Marie Curie was a Polish and naturalised-French physicist...","0\tMarie Curie was a Polish and naturalised-French physicist and chemist.\n1\tShe was the first woman to win a Nobel Prize.\n"

`submission.csv`

Fișierul pe care trebuie să îl generezi și să îl trimiți.

Câmp	Tip	Descriere
`id`	întreg	Identificatorul afirmației din `public_test.csv`
`subtaskID`	întreg	Va conține valoarea default 1
`label`	string	Verdictul prezis

Exemplu:

Python
1id,subtaskID,label219001,1,SUPPORTS319002,1,REFUTES419003,1,NOT ENOUGH INFO

Constrângeri format:

Fișierul trebuie să conțină exact toate id-urile din public_test.csv
Câmpul label acceptă doar valorile: SUPPORTS, REFUTES, NOT ENOUGH INFO
Nu sunt permise id-uri duplicate

Observații

Nu este permisă utilizarea etichetelor sau a evidenței corecte furnizate de benchmark-ul original FEVER.
Sistemul trebuie să realizeze retrieval automat din wiki_pages.csv - informația relevantă nu este indicată.
Sunt permise orice tehnici de procesare a limbajului natural și de învățare automată.

Evaluare

Soluțiile sunt evaluate pe baza Macro F1-score — media aritmetică a scorurilor F1 pe fiecare clasă în parte.
Această metrică penalizează soluțiile care ignoră clasele mai rare (ex. REFUTES).

(1)

\text{Macro F1} = \frac{F1_{\text{SUPPORTS}} + F1_{\text{REFUTES}} + F1_{\text{NOT ENOUGH INFO}}}{3}

Calculul punctajului:

(2)

100 \quad \text{dacă Macro F1} \geq 0{,}6

(3)

0 \quad \text{dacă Macro F1} \leq 0{,}3

(4)

\left\lfloor \dfrac{\text{Macro F1} - 0{,}3}{0{,}6 - 0{,}3} \times 100 \right\rfloor \quad \text{altfel}

Referințe

[1] Thorne, J., Vlachos, A., Christodoulopoulos, C., and Mittal, A., "FEVER: a large-scale dataset for Fact Extraction and VERification", Proceedings of NAACL-HLT, 2018.

Documentație

文件

下载题目文件

提交解答

手动上传结果文件，也可以附上源代码。总计不超过 100MB

提交文件

点击上传或拖放文件

CSV、ZIP 等（最大 100MB）

源代码文件（可选）

点击上传或拖放文件

压缩包、笔记本或代码文件

登录以上传提交。

或

在 Google Colab 中作答并提交

打开为本题准备的笔记本。第一个单元格会连接题目并下载可用数据；完成后，可直接从笔记本提交文件进行评测。

从 Colab 提交的文件使用相同的评测器和提交限制。可在“我的提交”中查看结果。

MLCompete 只能访问它在 Google Drive 中创建的笔记本，无法访问您的其他文件。

无法打开？使用临时代码

在此生成代码，打开公共笔记本，并在第一个单元格提示时输入该代码。

请先登录 MLCompete，再生成工作区代码。

在 Colab 中打开公共笔记本

仅在笔记本提示时粘贴工作区代码，切勿与他人分享。