Скачать или смотреть ETL из контейнера AWS S3 в Amazon RDS Aurora PostgreSQL Serverless V2 DB в VPC с использованием A...

=======================================================================
1. ПОДПИШИТЕСЬ, ЧТОБЫ УЗНАТЬ БОЛЬШЕ:    / @cloudquicklabs  
==========================================================================
2. БЫСТРЫЕ ЛАБОРАТОРНЫЕ ЗАНЯТИЯ В ОБЛАКЕ — ПОДПИШИТЕСЬ НА КАНАЛ, ЧТОБЫ ПОЛУЧИТЬ БОЛЬШЕ ПРЕИМУЩЕСТВ :
   / @cloudquicklabs  
=======================================================================
3. КУПИТЕ МНЕ КОФЕ В ЗНАК БЛАГОДАРНОСТИ:
https://www.buymeacoffee.com/cloudqui...
========================================================================

В этом видео показано, как настроить инфраструктуру ETL для загрузки необработанных данных (CSV-файлов большого размера) из контейнера AWS S3. к базе данных Amazon RDS Aurora PostgreSQL Serverless V2, которая интегрирована в VPC с помощью AWS Lambda (также интегрированной в тот же VPC) динамически при создании объекта S3.

В видео представлен наглядный обзор, пояснения к настройкам каждого компонента, а также пошаговый разбор используемого кода Python.

В заключение представлена ​​демонстрация сценария, в котором файл (.csv) загружается в контейнер S3, вызывается AWS Lambda, которая загружает и считывает данные, а затем загружает те же данные в таблицу базы данных RDS Aurora с помощью сопоставления «один к одному».

В этом видео также показано, как обеспечить безопасность данных при настройке сценария ETL. В этом случае данные передаются не через Интернет, а по магистральной сети AWS.

Это видео будет полезно инженерам по данным, разработчикам и специалистам малого и среднего бизнеса в области ETL.

Файлы с кодом использования можно найти в репозитории: https://github.com/RekhuGopal/PythonH...
#awsrds #amazonrdsauroradb #awslambda #aws #etl