[Юрий Дылько] Разработка и оркестрация ETL процессов в Airflow (2023)

[Юрий Дылько] Разработка и оркестрация ETL процессов в Airflow (2023)

Airflow является наиболее распространенным инструментом для создания и оркестрации ETL процессов в индустрии на данный момент.

После прохождения курса вы научитесь работать с архитектурой, основными концепциями Apache Airflow и приобретете практические навыки разработки ETL процессов.

Программа курса

Занятие 1. Обзор Apache Airflow:
* Что такое ETL и почему нам нужны специальные технологии для их разработки и поддержки
* Почему Apache Airflow является лидером в области создания и управления ETL пайплайнами
* Рассмотрим архитектуру Apache Airflow
* Познакомимся с основными концепциями и инструментами для создания ETL пайплайнов в Apache Airflow

Занятие 2. Применение теории на практике:
* Познакомимся с веб-интерфейсом Apache Airflow и его возможностями
* Разберем код типового ETL пайплайна и посмотрим как он исполняется
Закрепим усвоенное:
* Тест по теоретической части
* Домашнее задание на разработку ETL пайплайна в Apache Airflow.