Скачать или смотреть Как построить конвейер для создания таблицы и вставки записей в Snowball с помощью Airflow на AWS...

В этом видео я покажу вам очень простой проект по инжинирингу данных, создающий конвейер для автоматического создания таблицы и вставки записей в Snowflake с помощью Airflow, работающий на инстансе AWS EC2.

Если у вас есть вопросы или комментарии, задавайте их в разделе комментариев ниже.

Не забудьте поставить ЛАЙК, ПОДЕЛИТЬСЯ, КОММЕНТИРОВАТЬ и ПОДПИСАТЬСЯ на наш канал, чтобы увидеть больше ОТЛИЧНЫХ видео.

*Рекомендуемые книги*
1. «Твердость характера: Сила страсти и упорства» https://amzn.to/3EZKSgb
2. «Думай и богатей!: Оригинальная версия, восстановленная и переработанная»: https://amzn.to/3Q2K68s
3. «Книга об инвестициях в арендную недвижимость: Как создать богатство с помощью разумного инвестирования в недвижимость»: https://amzn.to/3LLpXRy
4. «Как инвестировать в недвижимость: Полное руководство для начинающих»: https://amzn.to/48RbuOb
5. «Введение в Python: Современные вычисления в простых пакетах» https://amzn.to/3Q4driR
6. «Python для анализа данных: Обработка данных с помощью pandas, NumPy и Jupyter, 3-е издание»: https://amzn.to/3rGF73G

******************* Команды, используемые в этом видео ****************
sudo apt update
sudo apt install python3-pip
sudo apt install python3.10-venv
python3 -m venv airflow_snow_venv
source airflow_snow_venv/bin/activate
sudo pip install apache-airflow
pip install apache-airflow-providers-snowflake
pip install snowflake-connector-python
pip install snowflake-sqlalchemy
airflow standalone
pip uninstall pydantic==2.0
pip install pydantic==1.10.10
УДАЛЕНИЕ БАЗЫ ДАННЫХ, ЕСЛИ СУЩЕСТВУЕТ student_database;
СОЗДАНИЕ БАЗЫ ДАННЫХ student_database;
СОЗДАНИЕ СКЛАДСКОЙ СХЕМЫ student_warehouse;
СОЗДАНИЕ СХЕМЫ student_schema;
SELECT * FROM student_info;

**************** ПОЛЕЗНЫЕ ССЫЛКИ ****************
Как создать и автоматизировать конвейер ETL на Python с помощью Airflow в AWS EC2 | Проект по инжинирингу данных    • How to build and automate a python ETL pip...  

Использование Airflow для организации конвейера ETL параллельной обработки в AWS EC2 | Проект по инжинирингу данных    • Use airflow to orchestrate a parallel proc...  

Извлечение текущих данных о погоде из Open Weather Map API с помощью Python в AWS EC2:    • Extract current weather data from Open Wea...  

Как удалённо подключиться к AWS EC2 по SSH с помощью Visual Studio Code:    • How to remotely SSH (connect) Visual Studi...  

Плейлист PostgreSQL:    • Tutorial 1 - What is Data? | What is Datab...  

Урок 27 – Типы данных в SQL | PostgreSQL    • Tutorial 27 –Data Types in SQL | PostgreSQL  

Репозиторий Github: https://github.com/YemiOla/create_ins...
Сайт Snowflake: https://www.snowflake.com/

ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: В этом видео и описании есть партнёрские ссылки. Это означает, что при покупке по одной из этих ссылок мы получим небольшую комиссию, которая будет для вас бесплатной. Это поможет нам продолжать создавать для вас отличный и ценный контент.