Развертывание Apache Airflow // Демо-занятие курса «DataOps Engineer»

Apache Airflow сейчас является самым популярным оркестратором для построения ETL процессов. Это мощный и удобный инструмент, который позволяет создавать достаточно сложные пайплайны, управлять зависимостями, подключаться к любым системам и заменять собой кучу cron'ов и ручных запусков. Но при первой же попытке развернуть его вы столкнетесь с множеством вопросов:

Где развернуть сервис?
В контейнере или на виртуалке?
Одним узлом или несколькими?
Какой планировщик выбрать?
Как настроить CI/CD для DAG?

Эти и другие вопросы мы обсудим на ближайшем открытом уроке по развертыванию Apache Airflow.

Сдавайте вступительное тестирование, и мы запишем вам на занятие.

«DataOps Engineer» - https://otus.pw/voVG/

Преподаватель: Егор Матешук - CDO AdTech - компании Квант

Подключайтесь к обсуждению в чате - https://otus.pw/S0Oj/

Следите за новостями проекта:
Telegram: https://t.me/Otusjava
ВКонтакте: https://otus.pw/850t
LinkedIn: https://otus.pw/yQwQ/
Хабр: https://otus.pw/S0nM/