Скачать или смотреть Пошаговое руководство по подготовке к экзамену AWS Machine Learning Associate 08: потоки данных A...

Пошаговое руководство по подготовке к экзамену AWS Machine Learning Associate 08: потоки данных AWS Kinesis, Kinesis Data Firehose, Apache Flink, Apache Kafka и интеграция с машинным обучением — 15 сентября
СМОТРЕТЬ ЗАПИСЬ: https://fathom.video/share/_xy8uk9oyN...
Цель встречи

Предоставить подробный обзор Amazon Kinesis и связанных сервисов для потоковой передачи данных в режиме реального времени в приложениях машинного обучения.

Основные выводы

— Amazon Kinesis предлагает набор сервисов (Data Streams, Data Firehose, Analytics) для сбора, обработки и анализа потоковых данных в режиме реального времени в любом масштабе.
— Kinesis легко интегрируется с экосистемой машинного обучения AWS, обеспечивая адаптивные приложения на основе ИИ, такие как обнаружение мошенничества и персонализация в режиме реального времени.
MSK (Managed Streaming for Apache Kafka) предоставляет полностью управляемый сервис Kafka с широкими возможностями настройки и надежными функциями безопасности.

Архитектуры потоковой передачи поддерживают разработку функций в реальном времени, оценку моделей и интеграцию MLOps для динамических приложений машинного обучения.

Темы

Потоки данных Amazon Kinesis

Базовая архитектура основана на сегментах, обеспечивая пропускную способность 1 МБ/с для записи и 2 МБ/с для чтения на каждый сегмент.
Предлагает режимы выделенной и по требованию емкости для различных шаблонов рабочей нагрузки.
Настраиваемое хранение данных от 24 часов до 365 дней с поддержкой повторной обработки исторических данных.
Реализует шифрование в состоянии покоя (KMS) и при передаче (HTTPS) для защиты данных.

Amazon Kinesis Data Firehose

Полностью управляемый сервис для доставки потоковых данных в такие хранилища, как S3, Redshift, OpenSearch.
Использует механизмы буферизации (размер: 1–128 МБ, время: 60–900 секунд) для оптимизации пакетной доставки.
Поддерживает встроенные и пользовательские (Lambda) преобразования данных, включая преобразование форматов и сжатие.
Интегрируется с различными сервисами AWS и сторонними партнерами для гибкой доставки данных.

Amazon Managed Service для Apache Flink. (ранее Kinesis Data Analytics)

Поддерживает сложную потоковую обработку в Java, Python и Scala, помимо аналитики на основе SQL
Обеспечивает обработку с сохранением состояния, сложную обработку событий и интеграцию моделей машинного обучения в режиме реального времени
Интегрируется с различными источниками данных (Kinesis, MSK) и приемниками (S3, базы данных) для комплексных конвейеров данных
Включает встроенные алгоритмы, такие как Random Cut Forest, для неконтролируемого обнаружения аномалий

Amazon MSK (Управляемая потоковая передача для Apache Kafka)

Полностью управляемый сервис Apache Kafka с развертыванием в нескольких зонах доступности для обеспечения высокой доступности
Предлагает широкие возможности настройки размера сообщений, политик хранения и производительности
Реализует надежные средства контроля безопасности, включая взаимный TLS, SASL/SCRAM, IAM и списки контроля доступа Kafka
Предоставляет MSK Connect для управляемых рабочих процессов Kafka Connect и MSK Serverless для автоматического масштабирования

Настройка и мониторинг производительности

Оптимизация на стороне производителя ориентирована на эффективное пакетирование, равномерное распределение и Обработка ошибок

Оптимизация на стороне потребителя включает масштабирование приложений с использованием Enhanced Fan-Out и правильной конфигурацией KCL

Метрики CloudWatch обеспечивают наглядное представление производительности потока, дополняемое мониторингом на уровне приложения

Оптимизация затрат включает выбор сервиса, режимов использования ресурсов и анализ шаблонов использования

Интеграция с машинным обучением

Обеспечивает проектирование функций в режиме реального времени с помощью Flink, Lambda или Kinesis Analytics
Поддерживает немедленную оценку моделей благодаря интеграции с конечными точками SageMaker или моделями, размещенными в Lambda
Облегчает применение практик MLOps, включая отслеживание происхождения данных, A/B-тестирование и автоматизированные конвейеры переобучения

Дальнейшие шаги

Более подробное изучение методов преобразования данных
Изучение Amazon EMR для обработки больших данных в сочетании с потоковыми сервисами
Практика создания и настройки потоков Kinesis и кластеров MSK в консоли AWS
Ознакомление с официальной документацией AWS для более глубокого понимания возможностей сервиса и передовых практик