Predicția venitului anual (Adult Income)

📖 Predicția venitului anual (Adult Income)

Ai fost recrutat ca data scientist într-un mic „laborator de predicții economice". Sarcina ta este să-ți dai seama cine sparge bariera de 50.000 USD pe an și cine nu, folosind date reale despre educație, muncă și viața de zi cu zi. Ai la dispoziție două fișiere cu date socio-economice, descrise mai jos:

📋 Descrierea coloanelor

Notă:
Coloana income este disponibilă doar în datele de antrenare (train.csv).

🧩 Subtask-uri

Subtask 1 (10 puncte)

Analizează datele de antrenare (train.csv) și determină:

Care este țara de origine (native_country), alta decât United-States, cu cel mai mare număr de persoane care au venitul >50K?

Rezultatul trebuie să fie un string cu numele exact al țării, așa cum apare în date.

Subtask 2 (15 puncte)

Analizează datele de antrenare (train.csv) și determină:

Care este ocupația (occupation) cu cea mai mare rată de venit >50K?

Rata de venit >50K pentru o ocupație se calculează ca: numărul de persoane cu venit >50K din acea ocupație, împărțit la numărul total de persoane din acea ocupație.

Rezultatul trebuie să fie un string cu numele exact al ocupației, așa cum apare în date.

Subtask 3 (55 puncte)

Construiește un model de clasificare capabil să prezică valoarea coloanei income pentru toate observațiile din test.csv.

Modelul trebuie să producă una dintre cele două clase:

• <=50K
• >50K

Subtask 4 (20 puncte)

Coloana profile_description conține descrieri textuale ale profilurilor profesionale. Aplică o metodă de clustering pe această coloană pentru a grupa observațiile din test.csv în clustere.

Returnează pentru fiecare observație din test.csv eticheta clusterului (valoare numerică întreagă).

📊 Evaluare

Subtask 1: Potrivire exactă cu răspunsul corect.

Subtask 2: Potrivire exactă cu răspunsul corect.

Subtask 3: Evaluarea se face folosind F1 Macro:

• f1_macro ≥ 0.80 → 55 puncte
• f1_macro < 0.60 → 0 puncte
• Valorile intermediare sunt punctate proporțional între 0 și 55

Subtask 4: Evaluarea se face folosind Adjusted Rand Index (ARI):

• ARI ≥ 0.90 → 20 puncte
• ARI ≤ 0.00 → 0 puncte
• Valorile intermediare sunt punctate proporțional între 0 și 20

📄 Formatul fișierului de trimitere

Fișierul de trimitere trebuie să fie în format CSV, cu următoarele coloane:

• subtaskID – indexul subtask-ului
• datapointID – identificator unic din setul de date
• answer – răspunsul sau predicția

Exemplu:

subtaskID,datapointID,answer
1,1,India
2,2,Sales
3,10001,<=50K
3,10002,>50K
4,10001,0
4,10002,2

Notă:

• Pentru Subtask 1 și Subtask 2, datapointID trebuie să fie 1, respectiv 2.
• Pentru Subtask 3 și Subtask 4, datapointID trebuie să fie valoarea sampleid din test.csv.

📊 Sursa datelor

Adult / Census Income Dataset – UCI Machine Learning Repository