Apache Airflow 및 Amazon MWAA를 활용한 서버리스 데이터 파이프라인 자동화 - 안효빈, 솔루션즈 아키텍트, AWS

Описание к видео Apache Airflow 및 Amazon MWAA를 활용한 서버리스 데이터 파이프라인 자동화 - 안효빈, 솔루션즈 아키텍트, AWS

데이터 오케스트레이션은 여러 데이터 저장소 위치에서 격리된 데이터를 가져와 결합 및 구성할 수 있도록 하는 프로세스입니다. Apache Airflow는 데이터 엔지니어링 파이프라인을 실행, 예약, 모니터링 및 관리하는 데 도움이 되는 오픈 소스 오케스트레이션 도구입니다. 본 세션에서는 Apache Airflow에 대해 소개하고, 완전 관리형 서버리스 서비스인 Amazon MWAA를 통해 손쉽게 데이터 워크플로를 만들고 배포하는 방법을 소개합니다. 오픈 소스를 활용해 엔드-투-엔드 데이터 파이프라인을 구성시 워크플로를 단순화하는 방법을 알려드립니다.

Комментарии

Информация по комментариям в разработке

Похожие видео