Chameleon

Poveste

În jocul Chameleon, doi jucători comunică folosind doar pictograme. Unul dintre jucători alege un cuvânt secret, apoi oferă un indiciu sub forma unei secvențe ordonate de pictograme. Celălalt jucător trebuie să ghicească termenul secret.

Fiecare pictogramă are o descriere textuală cunoscută. Ordinea pictogramelor este importantă: prima pictogramă indică de obicei ideea principală, iar următoarele pictograme adaugă context.

Pentru fiecare test, programul primește o secvență de pictograme și o listă de opțiuni posibile. Termenul corect se află întotdeauna în lista de opțiuni. Programul trebuie să returneze cel mult 10 opțiuni, ordonate de la cea mai probabilă la cea mai puțin probabilă.

Date disponibile

Datasetul conține următoarele fișiere:

1train.csv2val.csv3test.csv4hint_descriptions.csv

Fișierul hint_descriptions.csv conține descrierile pictogramelor:

Pictogramele se găsesc în directorul:

1hint_icons/

Imaginile sunt oferite ca material auxiliar. Pentru rezolvare este suficientă folosirea descrierilor din hint_descriptions.csv.

Formatul fișierelor train.csv, val.csv și test.csv

Fiecare rând reprezintă un caz de testare.

În train.csv și val.csv există și coloana:

În test.csv, coloana answer nu este disponibilă.

Exemplu de rând din dataset

1datapointID,subtaskID,hints,hints_json,options,options_json,answer2train_000000,1,6|61|63,"[6, 61, 63]",sunflower|credit card|dinosaur|seal,"[""sunflower"", ""credit card"", ""dinosaur"", ""seal""]",seal

În exemplul de mai sus, indiciul este format din pictogramele cu ID-urile 6, 61 și 63. Programul trebuie să ordoneze opțiunile primite astfel încât termenul corect, în acest caz seal, să apară cât mai sus în listă.

Date de ieșire

Participanții trebuie să trimită un fișier submission.csv cu următoarele coloane:

1datapointID,subtaskID,answer

Exemplu:

1test_000000,1,light bulb|battery|lamp|electricity|flashlight|fuse|lantern|generator|solar panel|power grid2test_000001,1,seal|penguin|octopus|submarine|crab|shell|diving suit|jellyfish|swan|fish

Coloana answer trebuie să conțină cel mult 10 opțiuni, separate prin caracterul |.

Ordinea opțiunilor este importantă. Prima opțiune este considerată cea mai probabilă.

Pentru fiecare rând din test.csv trebuie să existe exact un rând în submission.csv.

Format valid al răspunsului

Pentru fiecare caz, răspunsul trebuie să respecte următoarele reguli:

• conține între 1 și 10 opțiuni;
• opțiunile sunt separate prin caracterul |;
• opțiunile nu se repetă în același răspuns;
• opțiunile trebuie să aparțină listei de opțiuni primite pentru acel caz.

Exemplu valid:

1light bulb|battery|lamp|electricity|flashlight|fuse|lantern|generator|solar panel|power grid

Exemple invalide:

1light bulb,battery,lamp

Motiv: opțiunile sunt separate prin virgulă, nu prin |.

1light bulb|battery|light bulb

Motiv: opțiunea light bulb apare de două ori.

Evaluare

Pentru fiecare caz se iau în considerare primele cel mult 10 opțiuni din răspuns.

Fie gold termenul corect și fie guesses lista de opțiuni trimisă de concurent.

Hits@10

Dacă termenul corect apare în primele 10 opțiuni, atunci:

1Hits@10 = 1

Altfel:

1Hits@10 = 0

NDCG@10

Dacă termenul corect apare pe poziția rank, unde prima poziție are rank = 0, atunci:

1NDCG@10 = 1 / log2(rank + 2)

Dacă termenul corect nu apare în primele 10 opțiuni, atunci:

1NDCG@10 = 0

Scorul unui caz

Scorul pentru un caz este:

1score = 0.9 * Hits@10 + 0.1 * NDCG@10

Scorul final este media scorurilor obținute pe toate cazurile evaluate.

Scor public și scor privat

Evaluatorul calculează două scoruri:

• scor public, calculat pe un procent fix din cazurile de test;
• scor privat, calculat pe toate cazurile de test.

Clasamentul final se bazează pe scorul privat.

Baseline

Următorul baseline construiește un text din descrierile pictogramelor și compară acest text cu opțiunile folosind un model de tip SentenceTransformer.

1import json2import pandas as pd3import numpy as np4​5from sentence_transformers import SentenceTransformer6from sklearn.metrics.pairwise import cosine_similarity7​8​9def hints_to_sentence(hints, hint_description):10    sentence = "The following hints at our target word:\n"11​12    for i, hint in enumerate(hints):13        hint_text = str(hint_description[int(hint)])14​15        if i == 0:16            sentence += "<HINT_PRIMARY>\n"17            sentence += hint_text + "\n"18            sentence += "</HINT_PRIMARY>\n"19        elif i < len(hints) - 1:20            sentence += "<HINT>\n"21            sentence += hint_text + "\n"22            sentence += "</HINT>\n"23        else:24            sentence += "<HINT>\n"25            sentence += hint_text + "\n"26            sentence += "</HINT>"27​28    return sentence29​30​31def find_most_similar(query, sentences, model, top_k=10):32    query_embedding = model.encode([query])33    sentence_embeddings = model.encode(sentences)34​35    similarities = cosine_similarity(query_embedding, sentence_embeddings)[0]36    top_indices = np.argsort(similarities)[::-1][:top_k]37​38    return [sentences[idx] for idx in top_indices]39​40​41def main(test_csv="test.csv", hints_csv="hint_descriptions.csv", out_csv="submission.csv"):42    test = pd.read_csv(test_csv)43    hints = pd.read_csv(hints_csv)44​45    hint_description = dict(46        zip(47            hints["hintID"].astype(int),48            hints["description"].astype(str)49        )50    )51​52    model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")53​54    rows = []55​56    for _, row in test.iterrows():57        hint_ids = json.loads(row["hints_json"])58        options = json.loads(row["options_json"])59​60        query = hints_to_sentence(hint_ids, hint_description)61        ranked = find_most_similar(query, options, model, top_k=10)62​63        rows.append({64            "datapointID": row["datapointID"],65            "subtaskID": int(row["subtaskID"]),66            "answer": "|".join(ranked)67        })68​69    pd.DataFrame(rows).to_csv(out_csv, index=False)70​71​72if __name__ == "__main__":73    main()