Стриминговые фреймворки: Apache Flink • Дарья Колесова

На конференции Systems Design выступила Даша Колесова, Data Engineer, которая провела доклад о стриминговых фреймворках, сосредоточившись на Apache Flink. Она рассмотрела use cases, работу со state, распределение ресурсов и выделила ключевые аспекты при проектировании стриминговых архитектур.

00:00 О докладе
01:15 Смысл стриминговых фреймворков
05:30 Фреймворк Apache Flink
10:18 Use cases в Apache Flink
14:40 State в Apache Flink
20:00 Распределение ресурсов
22:28 Выводы: что учитывать при проектировании?
24:35 В чём отличие bounded-потока от batch-передачи?
26:12 В чем разница между at least once и exactly one в стриминге?
28:48 Аналогичен DAG в Apache AirFlow и в Apache Flink?
29:18 Какие могут быть последствия при применении Apache Flink (вместо Spark) на уровне DWH?
32:55 Состояние можно передать из оператора в оператора только через третье хранилище или возможно напрямую?
34:00 Можно сказать, что Apache Flink - это что-то между Apache Spark Streams и Apache Airflow?
35:13 Из каких этапов состоит проектирование?

Работа с очередями в RabbitMQ и Apache Kafka https://ssa.io/maMkdq
Моделирование предметной области и проектирование БД https://ssa.io/gfbVFV
Основы ООП и разработка UML-моделей https://ssa.io/SnGkCQ
ArchiMate для проектирования и поиска скрытых связей https://ssa.io/2DK5Pw
Разработка требований к информационной безопасности ИТ-систем https://ssa.io/DW3H4C
____________________
📌 ПОДПИСАТЬСЯ НА Systems Education:
➛Официальный сайт: https://systems.education/
➛VK https://vk.com/sys_education
➛Telegram - Новости Systems Education и расписание курсов https://t.me/systems_education
➛Telegram - Анонсы событий по системному анализу: https://t.me/itsysdes_events
➛Telegram - Как стать системным аналитиком: http://t.me/kak_stat_SA