БАК під лупою

Контекст

Протягом років результати іспиту Бакалавріат надають детальну картину про успішність ліцеїв Румунії. Аналізуючи історичні дані за кілька років, ми можемо виявити тенденції, еволюцію шкільної успішності і, іноді, результати, що виходять за межі норми.

У цьому контексті мета цієї задачі полягає в статистичному аналізі успішності ліцеїв на іспиті Бакалавріат, побудові прогностичних моделей та ідентифікації атипових результатів за допомогою методів Machine Learning.

Опис даних

Для розв'язання вимог цієї задачі ви маєте доступ до структурованого набору даних у вигляді двох csv файлів: train.csv та test.csv. Цей набір даних містить агреговані результати ліцеїв з різних предметів іспиту Бакалавріат за період 2014–2023.

Кожен рядок у наборі даних (незалежно від того, чи це тренувальний набір, чи тестовий) представляє результати ліцею з предмета в році.

Доступні колонки:

• id – унікальний ідентифікатор рядка
• an – рік іспиту
• liceu – назва ліцею
• judet – повіт, в якому знаходиться ліцей
• materie – дисципліна Бакалавріату
• medie – середня оцінка, отримана учнями ліцею з відповідної дисципліни
• procent_reusita – відсоток учнів, які склали іспит
• numar_candidati – кількість кандидатів
• preferinta_materie – відсоток учнів, які обрали відповідну дисципліну
• anomalie - може мати значення 0, якщо це не вважається аномальною ситуацією, або значення 1, якщо ситуація є незвичайною.

Зауваження: Для кожного ліцею ми також маємо загальну статистику. Для неї в колонці materie знаходимо значення GENERAL.

Файл train.csv містить статистику з періоду 2014-2022, а файл test.csv містить дані за 2023 рік, але колонки medie та anomalie недоступні.

Вимоги

Вимога 1 - Ідентифікація улюбленого предмета (10 балів)

Визначте, який предмет мав найбільшу перевагу в 2023 році в COLEGIUL NATIONAL "UNIREA" FOCSANI, якщо виключити предмет LIMBA ROMANA, який був обов'язковим для всіх кандидатів.

Вимога 2 - Ідентифікація успішного року для Інформатики (10 балів)

Визначте, в якому році з періоду 2014-2022 предмет INFORMATICA MI C-C++ мав найбільшу популярність в COLEGIUL NATIONAL "UNIREA" FOCSANI. Вважаємо, що популярність визначається відсотком з колонки preferinta_materie (чим більший цей відсоток, тим більш популярним вважатимемо предмет).

Вимога 3 - Оцінка успішності ліцеїв (40 балів)

Використовуючи інформацію, доступну у файлі train.csv, оцініть значення отриманої середньої оцінки для кожного рядка з файлу test.csv (2023 рік).

Для цієї вимоги ви можете використовувати будь-який метод статистичного аналізу або моделювання на основі історичних даних, враховуючи:

• аналізований предмет,
• історію ліцею,
• еволюцію результатів у часі,
• загальний контекст успішності на рівні повіту або країни.

Мета полягає в отриманні оцінок, якомога ближчих до реальних значень.

Вимога 4 - Ідентифікація атипових результатів (40 балів)

Проаналізуйте історичні дані з періоду 2014–2022 та вирішіть для кожного рядка з файлу test.csv, чи є відповідний результат 2023 року:

• нормальним, або
• атиповим, який значно відхиляється від звичайної поведінки.

При прийнятті рішення ви можете враховувати:

• історію відповідного ліцею,
• варіації з року в рік,
• різниці між предметами,
• порівняння з іншими подібними ліцеями.

Кінцевий результат для кожного рядка повинен бути бінарною міткою:

• 0 - нормальний результат
• 1 - атиповий результат

Формат подання

Для автоматичної оцінки необхідно завантажити файл у форматі csv з наступною структурою:

• id – ідентифікатор рядка (відповідний тому, що в test.csv)
  • для завдання 1 використовуйте значення 1 для id
  • для завдання 2 використовуйте значення 2 для id
• subtaskID – ідентифікатор вимоги:
  • 1 для ідентифікації улюбленого предмета (вимога 1)
  • 2 для ідентифікації успішного року для Інформатики (вимога 2)
  • 3 для оцінки середньої оцінки (вимога 3)
  • 4 для ідентифікації атипових результатів (вимога 4)
• answer – відповідь, що відповідає вимозі:
  • для subtaskID = 1: назва предмета точно так, як вона з'являється в наборі даних
  • для subtaskID = 2: рік
  • для subtaskID = 3: числове значення (оцінка середньої оцінки)
  • для subtaskID = 4: 0 або 1

Оцінювання

Для вимог 1–2 оцінювання проводиться точно (через порівняння).

Для вимоги 3 оцінювання проводиться за допомогою Mean Absolute Error (MAE).

Правила:

• MAE < 0.3 → максимальний бал
• MAE > 1.0 → 0 балів
• Для значень між цими двома порогами бал нараховується пропорційно.

Для вимоги 4 бал нараховується відповідно до наступних правил:

• AUC ≥ 0.95 → 40 балів
• AUC ≤ 0.70 → 0 балів
• Інтервал між ними: пропорційний бал

⬇️ Завантажити Starter Kit