[В.Бабушкин, С.Гафаров, Б. Печёнкин] Симулятор Machine Learning Engineer продвинутая практика (2022)

[Валерий Бабушкин, Станислав Гафаров, Богдан Печёнкин] [karpov.courses]
Симулятор Machine Learning Engineer продвинутая практика (2022)

Работа над реальными задачами под руководством ведущих ML-специалистов.

Для кого эта программа:
1. Хотите отработать знания на практике
Уже умеете обучать и деплоить ML-модели, писать SQL-запросы к базам данных, проводить A/B-тесты и строить BI-дашборды, но хотите закрепить свои знания.

2. Никогда не работали в индустрии
Хорошо разбираетесь в теории машинного обучения, но никогда не работали в индустрии и хотите получить опыт решения реальных бизнес-задач.

Как проходит обучение:
1. Используйте нашу инфраструктуру

Работайте со всеми необходимыми инструментами на выделенном сервере.
Практикуйтесь на данных из реальных задач.
Отправляйте свои решения на автоматическую проверку нашей системой.
2. Практикуйтесь

Решайте актуальные задачи ML-инженера.
Занимайтесь практикой без скучной теории.
Главное — это работающее решение.
3. Выбирайте подходящую сложность

Решайте задачи разных уровней: от Intern до Senior
Пишите несложный код или создавайте полноценные ML-сервисы
Чему Вы научитесь:
1. Строить дашборды и писать SQL запросы.
2. Оценивать влияние моделей на показатели бизнеса с помощью A/B-тестов.
3. Деплоить модели и создавать свои микросервисы для ML

Задачи, которые будем решать
Модуль 1 - Эмбеддинги товаров
ML-команде маркетплейса потребовались векторные представления товаров, учитывающие паттерны поведения пользователей. Постройте эмбеддинги на основе истории покупок, используя любой подходящий метод.

Модуль 2 - Постпроцессинг предсказаний
Модель динамического ценообразования выдала рекомендованные цены. Убедитесь, что они соответствуют бизнес-логике: не превышают цены конкурентов и не приводят к сверхпродажам и дефициту товаров на складе. Найдите способ скорректировать цены за минимальное число правок цены.

Модуль 3 - А/В тестирование
Дизайнеры внесли изменения в интерфейс сайта. Аналитик провёл A/B-тест и не обнаружил статистически значимого изменения конверсии. Проверьте, верны ли его расчёты, и попробуйте провести тест другим способом.

Модуль 4 - Приближённый поиск ближайших соседей
ML-инженер из другого отдела построил экспериментальную ML-модель в Jupyter-ноутбуке. Бизнес-заказчику понравились результаты работы модели, и вас попросили упаковать её в продукт. Перенесите код из Jupyter в модули библиотеки, покройте модель тестами, зафиксируйте зависимости, упакуйте всё в Docker и настройте автоматический пересчёт предсказаний по расписанию.

Модуль 5 - Деплой модели
Мы обучили модель, которая на основе картинки и названия товара генерирует эмбеддинги. Но мы не можем с её помощью искать дубликаты среди миллионов товаров — сложность квадратичная. Попробуйте какой-нибудь другой способ и предложите своё решение.

Модуль 6 - Уверенность модели
Вы обучили модель, прогнозирующую отток пользователей, и получили ROC-AUC, равный 0.89. Ваш руководитель просит уточнить, какой доверительный интервал у этой оценки и на каких новых клиентах модель уверена в своём предсказании лучше, а на каких — хуже.

На симуляторе вы получите доступ к инфраструктуре и задачам разного уровня, которые подготовили ML-инженеры с опытом работы в ритейле, e-commerce и BigTech-компаниях.
Здесь вас ждёт практика на задачах, максимально приближенных к реальным, и в окружении, максимально похожем на рабочее. Вы сможете начать с комфортного для вас уровня сложности и повышать его по мере развития ваших навыков. Закрепив знания на кейсах из индустрии, вы подготовите себя к решению аналогичных задач на работе.