[Владимир Кириевский] [Stepik] Асинхронные микросервисы с Apache Kafka на Python (2025)

[Владимир Кириевский] [Stepik] Асинхронные микросервисы с Apache Kafka на Python (2025)

Слив курса Асинхронные микросервисы с Apache Kafka на Python [Stepik] [Владимир Кириевский]
Если вы до сих пор не имели дела в своих проектах с брокерами сообщений, то вы несомненно сделаете правильный выбор, начав свой путь в мир событийно-управляемой архитектуры с изучения Apache Kafka. В рамках этого курса вы научитесь применять наиболее популярные библиотеки для работы с Kafka, создавать масштабируемые системы микросервисов, коммуницирующих посредством Kafka.

О курсе:
Если вы до сих пор не имели дела в своих проектах с брокерами сообщений, то, будьте уверены, вы сделаете правильный выбор, начав свой путь в мир событийно-управляемой архитектуры с изучения Apache Kafka. На сегодняшний день это наиболее популярный брокер сообщений, позволяющий строить быстрые, хорошо поддерживаемые и масштабируемые приложения на большинстве современных языков программирования.
Этот курс не сделает вас сразу гуру Kafka, но позволит упростить порог вхождения в тему, даст идеи для дальнейшего развития как разработчика в этой области.

Чему вы научитесь:

Применять наиболее популярные библиотеки, позволяющие работать с Kafka на python: confluent_kafka, aiokafka и faststream.
Понимать логику работы Kafka, создавать блокирующие и асинхронные приложения, имеющие в своем составе продюсеры и консьюмеры.
Использовать Kafka в составе приложений, построенных на базе современных веб-фреймворков, в частности, FastAPI.
Для кого этот курс:
Начинающие разработчики, уже имеющие некоторый опыт с python, желающие научиться работать с брокерами сообщений, повысить свою ценность для работодателя

Как проходит обучение:
Перед началом обучения вам будет необходимо установить необходимый софт и скачать репозиторий с учебными примерами.
Небольшие и предельно простые примеры кода из каждого урока являются самодостаточными и чаще всего не требуют возвращения к предыдущим урокам, чтобы в них разобраться.
Одновременно с просмотром видео или сразу после окончания просмотра необходимо самостоятельно выполнить учебные примеры в своей IDE, подумать как их можно усовершенствовать, применить в своих проектах.
Рекомендуется также ознакомиться с документаций к используемым библиотекам для получения углубленных знаний.

Программа курса:
Перед тем как приступить к работе

Системные требования
Как загрузить репозиторий с уроками
Как настроить IDE и загрузить необходимые библиотеки
Как установить Kafka
Как установить Offset Explorer
Для самых ленивых: готовый образ VirtualBox со всем необходимым
Основы Apache Kafka

Основные понятия Kafka
Основы работы с Kafka на python

Создаем продюсер и консюмер
Один продюсер, два консьюмера
Один продюсер, три консьюмера, две группы
Два продюсера, два топика, один консьюмер
"Осиротевшая партиция" и ребалансировка
Распределение по партициям сообщений с разными ключами
Работа без автоматического коммита: транзакции
Сериализация данных

Сериализация данных в json
Применение pydantic
Практический пример: приложение сбора данных
Асинхронная работа

Что почитать про asyncio
Создаем продюсер и консьюмер с использование aiokafka
Интегрируем Kafka с веб-приложением на FastApi
Потоковая обработка данных с фреймворком FastStream

Основы работы с FastStream
Послесловие

Заключение
В курс входят:

22 урока
3 часа 29 минут видео
47 тестов
Автор курса: Владимир Кириевский