Прогнозування річного доходу (Adult Income)

📖 Прогнозування річного доходу (Adult Income)

Вас найняли як data scientist у невелику «лабораторію економічних прогнозів». Ваше завдання — з'ясувати, хто долає бар'єр у 50 000 доларів США на рік, а хто ні, використовуючи реальні дані про освіту, роботу та повсякденне життя. У вашому розпорядженні два файли з соціально-економічними даними, описаними нижче:

📋 Опис колонок

Примітка:
Колонка income доступна лише в навчальних даних (train.csv).

🧩 Підзавдання

Підзавдання 1 (10 балів)

Проаналізуйте навчальні дані (train.csv) і визначте:

Яка країна походження (native_country), крім United-States, має найбільшу кількість осіб із доходом >50K?

Результатом має бути рядок із точною назвою країни, як вона вказана в даних.

Підзавдання 2 (15 балів)

Проаналізуйте навчальні дані (train.csv) і визначте:

Яка професія (occupation) має найвищий рівень доходу >50K?

Рівень доходу >50K для професії розраховується як: кількість осіб із доходом >50K у цій професії, поділена на загальну кількість осіб у цій професії.

Результатом має бути рядок із точною назвою професії, як вона вказана в даних.

Підзавдання 3 (55 балів)

Побудуйте модель класифікації, здатну передбачити значення колонки income для всіх спостережень із test.csv.

Модель повинна видавати один із двох класів:

• <=50K
• >50K

Підзавдання 4 (20 балів)

Колонка profile_description містить текстові описи професійних профілів. Застосуйте метод кластеризації до цієї колонки, щоб згрупувати спостереження з test.csv у кластери.

Поверніть для кожного спостереження з test.csv мітку кластера (ціле числове значення).

📊 Оцінювання

Підзавдання 1: Точна відповідність правильній відповіді.

Підзавдання 2: Точна відповідність правильній відповіді.

Підзавдання 3: Оцінювання проводиться за допомогою F1 Macro:

• f1_macro ≥ 0.80 → 55 балів
• f1_macro < 0.60 → 0 балів
• Проміжні значення оцінюються пропорційно від 0 до 55

Підзавдання 4: Оцінювання проводиться за допомогою Adjusted Rand Index (ARI):

• ARI ≥ 0.90 → 20 балів
• ARI ≤ 0.00 → 0 балів
• Проміжні значення оцінюються пропорційно від 0 до 20

📄 Формат файлу для відправки

Файл для відправки має бути у форматі CSV з наступними колонками:

• subtaskID – індекс підзавдання
• datapointID – унікальний ідентифікатор із набору даних
• answer – відповідь або прогноз

Приклад:

1subtaskID,datapointID,answer21,1,India32,2,Sales43,10001,<=50K53,10002,>50K64,10001,074,10002,2

Примітка:

• Для Підзавдання 1 та Підзавдання 2 datapointID має бути 1 та 2 відповідно.
• Для Підзавдання 3 та Підзавдання 4 datapointID має бути значенням sampleid із test.csv.

📊 Джерело даних

Adult / Census Income Dataset – UCI Machine Learning Repository