Скачать или смотреть 8 Архитектура Каппа и Лямбда

Это второй том курса по инжинирингу данных. В этом курсе я расскажу о технологиях обработки данных с открытым исходным кодом — Spark и Kafka, которые являются наиболее используемыми и популярными фреймворками для пакетной и потоковой обработки данных. В этом курсе вы изучите Spark с уровня 100 по уровень 400, используя практические примеры и реальные проекты. Я также познакомлю вас с Data Lake на AWS (S3) и Data Lakehouse на базе Apache Iceberg.

Я буду использовать AWS в качестве платформы хостинга и расскажу о сервисах AWS — EMR, S3, Glue и MSK. Я также покажу вам интеграцию Spark с другими сервисами, такими как AWS RDS (MySQL или PostgreSQL), Redshift и DynamoDB.

У вас будет возможность выполнить практические задания с большими наборами данных (100–300 ГБ и более). Этот курс предоставит вам практические упражнения, соответствующие сценариям реального времени, таким как пакетная обработка Spark, потоковая обработка, настройка производительности, потоковая передача данных, оконные функции, транзакции ACID в Iceberg и т. д.

Другие важные моменты:
5 проектов с различными наборами данных. Общий размер набора данных не менее 250 ГБ.
Другие рассматриваемые технологии: EC2, EBS, VPC и IAM.
Дополнительные видео по Python
Дополнительные видео по основам AWS и SQL