Николай Матвиенко — Обработка озера данных на Node.js в serverless-архитектуре

Ближайшая конференция — HolyJS 2024 Autumn, 7 ноября (online), 14–15 ноября (Санкт-Петербург + трансляция).
Подробности и билеты: https://jrg.su/K18Cxd
— —
. . Serverless — это не только про легковесный код. С этим подходом можно организовать и обработку огромных объемов данных, главное, правильно организовать архитектуру. Технические детали и реальные подходы в решении нетривиальных задач — вы можете с таким не столкнуться, но это определенно интересный опыт.

Мы рассмотрим процесс обработки озера данных с помощью облачных функций AWS Lambda на Node.js: от выбора применяемых архитектурных облачных паттернов до углубления в оптимизации лямбда-функций на Node.js. Выявим и используем сильные стороны Node.js для ускорения обработки данных. Исследуем увеличение пропускной способности с помощью масштабирования до 7000 экземпляров лямбда-функций и используемых сервисов (стримов, очередей и баз данных), тюнинга и оптимизаций лямбда-функций на Node.js и выбора оптимальных протоколов передачи данных. Рассмотрим особенности профилирования функций, логирования и мониторинга в облачной инфраструктуре для выхода в продакшн.