Скачать или смотреть Создание конвейера данных Airflow для загрузки подкастов [Руководство для начинающих инженеров да...

Мы создадим конвейер данных, который сможет загружать и хранить выпуски подкастов, используя Apache Airflow, мощный и широко используемый инструмент для обработки данных. Это руководство для начинающих, поэтому мы начнём с установки Airflow и рассмотрения ключевых концепций Airflow.

По ходу руководства мы узнаем, как создать наш первый конвейер данных (DAG) в Airflow, как писать задачи с помощью операторов и API TaskFlow, как взаимодействовать с базами данных с помощью хуков и как эффективно управлять конвейером.

К концу руководства вы будете хорошо понимать, как использовать Airflow, а также создадите проект, который сможете расширять и дополнять. Некоторые расширения этого проекта включают автоматическую расшифровку подкастов и их краткое содержание.

Полный код проекта и обзор можно найти здесь: https://github.com/dataquestio/projec....

Главы

00:00 Введение
01:44 — Установка Airflow
07:17 — Создание первой задачи в нашем конвейере данных с помощью Airflow
17:11 — Использование базы данных SQL с помощью Airflow
25:30 — Хранение данных в базе данных SQL с помощью Airflow
34:36 — Загрузка выпусков подкаста с помощью Airflow
38:17 — Обзор нашего полного конвейера данных и дальнейших шагов

--------------------------------
Присоединяйтесь к более чем миллиону участников Dataquest уже сегодня!
Освойте навыки работы с данными и измените свою жизнь.

Зарегистрируйтесь бесплатно: https://bit.ly/3O8MDef