Apresentação - Projeto integração entre bases heterogêneas

Repositório GitHub: https://github.com/Renatoelho/fluxo-elt

Trata-se de um processo de ELT (Extração, Carga e Transformação) que integra um sistema legado com um banco de dados relacional (no exemplo, um MySQL) para um banco NoSQL (ElasticSearch) sem alterações significativas nos dados transferidos.

Para implementar esse fluxo de ELT, optou-se por uma arquitetura baseada em contêineres para todas as aplicações. A simulação do sistema legado também foi feita por meio de contêineres, com um para o MySQL e outro para o sistema de ERP (uma aplicação em Python que cadastra novos clientes e vendas de maneira contínua). O servidor Apache Nifi é o responsável por se conectar ao database do sistema legado e enviar, de forma contínua, para o Elasticsearch todos os novos clientes e vendas registrados no ERP. Além disso, o contêiner com Kibana é utilizado para visualização do resultado da integração.

Capítulos:

0:00 Início
0:56 Apresentação do projeto
8:36 Parte prática do projeto
15:25 Ativando todos os serviços via Docker-compose
17:20 Corrigindo erro de volume no Docker
21:40 Detalhamento dos healthchecks existentes no projeto
26:20 Configurando o Apache Nifi Registry
27:20 Versionando os flows no Apache Nifi
32:50 Configurando o pipeline de dados no Apache Nifi
38:20 Ativando o pipeline de dados no Apache Nifi
45:10 Visualizando o resultado via Elasticsearch e Kibana
49:15 Explicação final

Nesse exemplo específico, foram criados dois flows separados, um para capturar novos clientes e outro para novas vendas. Ambos os flows são versionados pelo Apache Nifi Registry e são executados continuamente, capturando novos dados à medida que são inseridos no sistema legado. Esses dados são capturados e enviados para o banco de dados NoSQL, sem grandes alterações em sua estrutura original. Dessa forma, garantimos uma integração eficiente entre as bases que são heterogêneas.

#EngenhariaDeDados #ELT #ExtraçãoCargaTransformação #IntegraçãoDeDados #SistemaLegado #BancoDeDadosRelacional #MySQL #BancoNoSQL #ElasticSearch #ArquiteturaDeContêineres #ERP #Python #ApacheNifi #Database #IntegraçãoContínua #Kibana #VisualizaçãoDeDados