Практическое знакомство с Azure Data Factory

Время прохождения: 6 ч. 15 мин.
Курс будет полезен архитекторам, аналитика м, статистикам, специалистам по анализу данных, разработчикам SQL, администраторам.
Требования: перед началом прохождения практической части
активируйте бесплатную учетную запись Azure.
Курс «Практическое знакомство с Azure Data Factory» посвящен задачам:
1. Создание корпоративного хранилища данных.
2. Создание ETL-процесса для преобразования «сырых» данных.
В рамках первой задачи состоится знакомство с Azure Blob Storage и Azure Data Lake Storage. Будет разобрана ключевая разница между первым и вторым поколениям Azure Blob Storage / Data Lake Storage и для каких задач они лучше всего подходят. Разберемся также с тем, что такое Hot, Cool, Archive и Premium, LRS, ZRS, GRS и т.д. Научимся забирать данные из различных источников: от баз данных (на примере Microsoft SQL) до csv-файлов, лежащих на локальных серверах, и сохранять их в Azure Blob Storage и Azure Data Lake Storage.
Подробно рассмотрим, как устанавливать и настраивать Integration Runtime, чтобы данные, которые забирает облако шифровались при передаче.
В рамках второй задачи мы познакомимся с модулем Data Flow в Azure Data Factory. Начнем мы с простого создания ETL-процесса: как из чеков создать «плоские» продажи. После познакомимся с форматом Parquet, поговорим какие у него преимущества по сравнению с csv-файлами и посмотрим, как преобразовывать csv-файлы в Parquet. Закончим мы модуль глубоким погружением в ключевые Топ-10 функций Data Flow на примере создания OLAP-куба из табулярных таблиц.
Программа курса:
Модуль №0 (30 мин).
О чем и зачем.
Модуль №1 (30 мин).
Основы работы с Azure Blob Storage и Data Lake.
Лабораторная работа №1 (15 мин).
Необходимо создать Data Lake Storage второго поколения, на своей подписке.
Модуль №2 (30 мин).
Data Factory сбор данных из Azure в Azure.
Лабораторная работа №2 (20 мин).
1. Необходимо создать Azure Data Factory на своей подписке.
2. Пройти все шаги в модуле «Copy data» и скопировать данные из одного Blob Storage в свой Blob Storage.
Модуль №3 (30 мин).
Data Factory сбор данных из SQL и с локальных серверов.
Лабораторная работа №3 (30 мин).
1. Настроить подключение к SQL Server и забрать данные на свой Azure Blob Storage.
2. Настроить на локальном компьютере Integration Runtime и забрать данные в свой Azure Blob Storage.
Модуль №4 (30 мин).
Data Factory обработка данные Data flow основа.
Лабораторная работа №4 (30 мин).
Создание Data Flow и его запуск на выполнение.
Модуль №5 (40 мин).
Data Factory обработка данных базовый курс Data Flow.
Лабораторная работа №5 (90 мин).
Создание Data Flow и его запуск на выполнение. Задачу будем решать такую же как в
модуле №5. Информацию о данных будем брать из подготовленного Blob Storage, но
результат будем сохранять в свой Blob Storage.

https://docs.microsoft.com/ru-ru/azur...
https://docs.microsoft.com/ru-ru/azur...
https://docs.microsoft.com/ru-ru/lear...
https://query.prod.cms.rt.microsoft.c...