Скачать или смотреть Фабрика DAG в Airflow: Infrastructure as Code для Data Engineer | Генерация DAG через JSON/YAML

🔥 Устал создавать каждый DAG в Airflow вручную? В этом видео я покажу, как автоматизировать создание DAG-ов через Infrastructure as Code (IaC) подход! Разберём реальную фабрику DAG, которая генерирует пайплайны на основе JSON и YAML конфигураций. Один конфиг-файл — и у тебя готовый DAG для переноса данных из OLTP в OLAP!

Ссылки:
Менторство/консультации по IT – https://korsak0v.notion.site/Data-Eng...
TG канал – https://t.me/DataLikeQWERTY
Instagram –   / i__korsakov  
Habr – https://habr.com/ru/users/k0rsakov/pu...

🔍 Что в ролике:

📊 Типовая задача дата-инженера: миграция OLTP → OLAP
🏭 Что такое фабрика DAG и зачем она нужна
⚙️ Настройка инфраструктуры Airflow через Docker
📝 Два варианта генерации: через JSON и YAML конфигурации
🎯 Пошаговый разбор кода DAG-генератора
💡 Боевые рекомендации: тесты, логирование, алертинг
🚀 Ready-to-use решение для твоих проектов!

🗂️ GitHub репозиторий с кодом: https://github.com/k0rsakov/pet_proje...

📚 Мои статьи на Habr по теме:
• Генерация DAG в Apache Airflow – https://habr.com/ru/articles/722688/
• Таблица-справочник – генератор DAG? – https://habr.com/ru/articles/756978/

✉️ Заинтересован в обучении или есть вопросы? Пиши в личку – https://korsak0v.notion.site/Data-Eng...

💡 В конце ролика — рекомендации как правильно внедрить фабрику DAG в production без боли и страданий!

Таймкоды:
00:00 – Начало
00:13 – Типичная задача дата-инженера и что такое фабрика ДАГов 05:52 – Про проект.Создание ДАГов через ДАГ
06:18 – Про инфраструктуру
07:15 – Конфигурация фабрики ДАГов
07:43 – Разбор генерации ДАГов через .json-конфигурацию
14:41 – Разбор генерации ДАГов через .yaml-конфигурацию
19:25 – Рекомендации

#airflow #dag #iac #infrastructureascode #dataengineering #etl #elt #python #json #yaml #docker #dataengineer #apacheairflow #dagfactory #automation