Скачать или смотреть Pipeline para Dados com Docker, Airflow, Python, DBT e PostgreSQL

Neste vídeo, mostramos como construir um pipeline de dados robusto e totalmente automatizado, utilizando Airflow e DBT, para processar dados financeiros em camadas de transformação Bronze, Prata e Ouro. O pipeline é orquestrado pelo Airflow e utiliza o PostgreSQL para armazenamento, com todos os processos sendo executados dentro de containers Docker, utilizando Astronomer para facilitar o gerenciamento.

🔍 O que você vai aprender:
Bater em uma API do mercado: Como fazer requisições HTTP em Python para acessar dados financeiros em tempo real.
Criação das camadas de dados (Bronze, Prata, Ouro) com DBT: Estruture e transforme seus dados em camadas para análise e visualização.
Orquestração com Airflow: Automação do pipeline de dados, agendando e monitorando os processos.
Banco de dados PostgreSQL: Armazenamento dos dados transformados de forma escalável e segura.
Astronomer e Docker: Como utilizar essas ferramentas para rodar tudo localmente, de forma simples e eficiente.

💻 Projeto 100% Gratuito e On-premise:
Esse projeto pode ser executado diretamente no seu computador, sem necessidade de cloud, e é totalmente gratuito. Ideal para quem quer aprender e praticar orquestração de dados sem custos.

👀 E o melhor de tudo:
Este é apenas o primeiro vídeo! Em breve, teremos mais conteúdos sobre como consumir e analisar os dados financeiros que estamos processando. Não perca!

🔗 Repositório do projeto no GitHub: https://github.com/Rodrigo-Henrique21...

#datapipelines #airflow #dbt #postgresql #python #astronomer #docker #api #boraaprender #dadossobreaprendizado