Extração de API Coin Base - Projeto completo de ETL com Python na Cloud Open Source, 100% gratuito.

O que você vai aprender:

1) Extração de Dados: Como se conectar a uma API pública, obter dados brutos e integrar esses dados de forma eficiente ao seu fluxo de trabalho em Python.

2) Transformação e Limpeza: Aplicar técnicas simples, porém eficazes, para padronizar, filtrar e preparar as informações para análise.

3) Carga em Banco de Dados: Como escolher o tipo de banco ideal, criar tabelas adequadas e armazenar seus dados de forma estruturada, visando consultas rápidas e organizadas.

4) Criação de Dashboard em Tempo Real: Desenvolver um dashboard interativo, integrando as informações armazenadas, e possibilitando a visualização e análise em tempo real de indicadores e métricas relevantes.

GitHub do projeto: https://github.com/lvgalvao/ETLProjec...

Outros links citados:
Chat GPT: https://platform.openai.com/
JSON Place Holder: https://jsonplaceholder.typicode.com/
JSON Formatter: https://jsonformatter.org/

Capítulos:
00:00 Introdução
05:40 Inicio da Live
11:39 O que vamos fazer hoje e as motivações
18:15 Inicio da live code: criando o ambiente de trabalho virtual
22:18 O que é o Cursor? Alternativa ao VSCode como IDE
23:55 Qual é a vantagem do Cursor em relação ao VSCode?
26:13 Explicando o Roadmap do Engenheiro de Dados
27:29 Explicando o fluxo de processos de um navegador (Cliente vs Servidor)
31:36 Usando o site do Youtube como exemplo
32:30 Comunicação entre Cliente e Servidor
33:34 Renderização do conteúdo pelo Navegador
35:10 Explicando o GET e POST pelo exemplo do Botão do Like/Inscrever no Youtube
37:39 Explicando o que é uma API
41:32 Preparando o ambiente virtual + biblioteca Requests
42:25 Com o Selenium, podemos pegar a informação sem a API?
50:52 Exemplos de uso da biblioteca Requests
52:15 Métodos utilizados para requisição (GET, POST, PUT, DELETE)
55:14 Explicando as famílias das respostas dos Status Code
57:24 Site de testes para JSON (https://jsonplaceholder.typicode.com/)
01:02:09 Explicando os parâmetros do tipo GET de requisição (URL, Headers, Parametros)
01:07:54 Explicando o método POST de requisição com API do Chat GPT
01:18:11 Porque o arquivo .env é importante? Usando a biblioteca python-dotenv
01:20:00 Sobre o arquivo .gitignore
01:23:13 Usando o Cursor para gerar um arquivo Readme eficiente
01:26:02 Qual é a função do comando pip freeze?
01:29:39 Bora pro código! Explicando o processo da ETL para extrair dados do BitCoin
01:32:35 Diferença entre API e End Point usando o Instagram como exemplo
01:39:22 Passo 1: Extraindo os dados do BitCoin pela API da Coin Base
01:42:23 Passo 2: Transformando os dados com Python
01:51:20 Passo 3: Salvando no Banco de Dados Tinydb + Explicação do que é noSQL
01:54:00 Explicando os tipos de noSQL
01:56:20 Passo 4: Inserindo o TimeStamp com Python
02:00:00 Quando usar o noSQL é a melhor opção?
02:04:42 Passo 5: Criando um looping no processo com time.sleep (atualizar a cada 15 segundos)
02:12:34 Passo 6: Refatorando o código para aplicação no Postgres + Render + SQL Alchemy
02:31:00 O que é o pgAdmin e como instalar?
02:38:08 Explicando o conceito de Observabilidade em Engenharia de Dados com Logfire
02:44:02 Passo 7: Instalando e configurando o Logfire com Python
02:47:42 Entendendo os outputs da observabilidade da pipeline de dados
02:51:33 Passo 8: Indo pro deploy da pipeline de dados no Render + GitHub
03:00:00 Passo 9: Construindo o dashboard com a biblioteca Streamlit
03:11:20 Correlação de Complexidade e Flexibilidade em projetos de Engenharia de Dados
03:13:57 Recapitulação do que foi feito no projeto
03:14:30 Sobre os próximos passos da Jornada de Dados
03:17:00 O que é a Jornada de Dados?
03:19:10 GitHub da Jornada de Dados com todo o material + Aulas
03:22:34 O plano de estudos para 2025 da Jornada de Dados
03:31:53 Sobre os fundamentos da Jornada de Dados
03:34:33 Depoimento dos alunos da Jornada de Dados
03:41:07 Como são as aulas da Jornada de Dados?
03:50:40 Sorteio de Camisa da Jornada de Dados

👉 Inscreva-se no canal e ative as notificações para não perder!

► Inscreva-se em nosso canal:    / @jornadadedados  
► Ative as notificações (clica no sininho)!
► Curta o nosso vídeo!

___________________________________________________________________________

Links importantes:

► Site: https://bit.ly/46jwnjO
► Instagram:   / lvgalvaofilho  
► LinkedIn:   / lucianovasconcelosf  
► GitHub: https://bit.ly/4djYjGy
► T-shirts Jornada de Dados: https://bit.ly/3LIPfQ8
► Google Calendar: https://bit.ly/4cVu8WL
► RedRex: https://bit.ly/3yPbHnz