[Яндекс.Практикум] Apache Kafka для разработки и архитектуры (2025)

С этой технологией вы будете работать с более сложными продуктами и сможете повысить грейд

Навыки работы с Apache Kafka помогут профессионально вырасти:
Бэкенд-разработчикам
Сможете создавать масштабируемые, отказоустойчивые и гибкие системы обработки данных в реальном времени

Архитекторам ПО
Научитесь создавать распределённые системы с высокой степенью интеграции и обеспечивать консистентность данных

DevOps-инженерам
Освоите инструменты для автоматизации развёртывания, настройки и мониторинга кластеров, чтобы стало проще управлять инфраструктурой

Инженерам данных
Научитесь строить конвейеры данных, чтобы обеспечить их передачу из различных источников в системы хранения и обработки

Курс подойдёт вам, если:
Вы пишете код на Java, Python или Golang
Работаете в Linux
Понимаете, как устроены базы данных — SQL и NoSQL
Разбираетесь в архитектуре распределённых систем
Запускаете приложения в Docker‑контейнере и управляете ими
Программа 2025 года:
1) Базовая эксплуатация Apache Kafka
Основные концепции и терминология
Архитектура Kafka
Установка и настройка Kafka‑кластера
Продюсеры и консьюмеры
Consumer Groups
Сериализация данных
2) Реализация потоковой обработки на базе Apache Kafka
Потоковая обработка данных
KSQL и ksqlDB
Работа с данными
3) Администрирование Kafka
Администрирование Kafka
Балансировка
Мониторинг
4) Интеграция с внешними системами на примере Kafka Connect
Интеграция данных
Kafka Connect
Debezium PostgresConnector
5) Безопасность в Kafka
Безопасность Kafka‑кластера
Работа с внешними службами авторизации
ACL
6) Kafka в production и интеграция Kafka с Big‑Data‑экосистемой
Kafka в проде
Kafka в облаке
Apache NiFi
Apache Spark
Apache Hadoop
7) Финальный проект
Сконфигурируете сервис с использованием технологий, которые изучили на курсе

Подробнее: