[Анатолий Карпов, Мария Сомова] [karpov.courses] Симулятор аналитика (2022)

[Анатолий Карпов, Мария Сомова]
[karpov.courses] Симулятор аналитика (2022)

Работа над реальным проектом под руководством ведущих аналитиков.

Анатолий Карпов расскажет о курсе и его технических аспектах. Вы узнаете, что такое симулятор, какие задачи будете решать и в чём ценность симулятора.
Программа напоминает стажировку, где вам придется разобраться с АБ тестами, продуктовой аналитикой, автоматизацией отчетности, построением BI дашбордов.
Все задачи вы решаете на реальной инфраструктуре на постоянно изменяющихся данных, как в настоящей компании. После выполнения заданий вас ждет разбор проделанной работы с ментором, практикующим аналитиком.
Для кого эта программа:
1. Старт карьеры
Вы только начинаете карьеру в аналитике, и вам не хватает опыта решения настоящих бизнес-задач.

2. Junior аналитик
Вы уже работаете в аналитике и хотите посмотреть, как senior аналитики подходят к решению задач.

Чему Вы научитесь:
1. Автоматизируете отчётность, используя связку BI + Python
2. Прокачаете знания программирования и SQL реальном проекте
3. Реализуете полноценный аналитический сервис по поиску аномалий
4. Проконтролируйте процесс эксперимента от АА теста до презентации результатов

Какие задачи будем решать:
1. Аномалии
Вчера в данных просмотров постов было аномальное падение, к сожалению, мы пропустили его. Твоя задача — разобраться, как мы можем автоматически детектировать такие падения.

2. BI
Нам нужен real time дашборд поверх таблиц в Clickhouse. Подскажи, как реализовать такую идею?

3. Автоматизация
Отправка отчетов — самая скучная задача, давай автоматизируем ее. Напиши, пожалуйста, скрипт, который каждое утро будет присылать в телеграмм сводку основных продуктовых метрик за вчера.

4. План эксперимента
Мы хотим запустить АБ перед увеличением частоты вставки рекламного контента. Подумай, как мы можем разбить пользователей на группы и предложи дизайн эксперимента.

5. А/В-тест
Пора запустить АБ тест, посчитай, какой размер выборки нам потребуется, и запускай тест. Ждем тебя с результатами!

6. Гипотеза АD НОС
Нужно разобраться, почему вчера так сильно упал DAU. Возможно, это связано с обновлением на iOS, которое мы выкатили. Нужно проверить, на всех ли версиях приложения наблюдалась стабильная активность юзеров.

Содержание:
Модуль 1 - Знакомимся с рабочим окружением

Ваш первый рабочий день в новой компании. Познакомимся с данными и их структурой, освежим опыт работы с Python, Clickhouse, git. Для разминки решим несколько ad hoc задач.
Модуль 2 - Первый дашборд

Давайте выстраивать аналитическую культуру в компании! Начнем с простых дашбордов, задача которых удобно визуализировать основные продуктовые метрики.
Модуль 3 - Автоматизация отчетности

Отлично, теперь данные у нас перед глазами. Можно начинать делать простейшие аналитические выводы и анализ ключевых метрик в различных срезах. Для удобства всех сотрудников настроим автоматическую рассылку отчета в телеграмм чат.
Модуль 4 - Поиск аномалий

Пришло время обеспечить строгий надзор за здоровьем ключевых метрик. На офлайн данных потренируемся находить аномалии. Попробуем разные подходы от простых правил до статистических решений. Настроим работу нашей системы в реальном времени и оценим качество ее работы на данных в реальном времени. В простом варианте поставим наши скрипты на крон, для самых смелых — упакуем в GitLab CI/CD.
Модуль 5 - Анализируем продуктовые метрики

Мы уже следим за ключевыми метриками, пришло время спуститься на уровень ниже. Подготовим дашборд с продуктовыми метриками. Научимся считать и визуализировать ретеншн, отток пользователей, когорты пользователей.
Модуль 6 - Планируем и запускаем АВ-тест

Пройдем все стадии планирования АБ теста, выберем дизайн исследования, рассчитаем необходимый размер выборки, научимся делить пользователей на группы. Запустим тест на реальных данных и проанализируем результаты. Донесем выводы до бизнеса.