Николай Голов — Моделирование потоков событий в эволюционирующем окружении

Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
Скачать презентацию с сайта SmartData — https://jrg.su/KLHQok

Представьте, что вы должны работать с потоком событий из внешних систем (кликстрим, веб-хуки и т. п.). Событий сотни и тысячи, формат каждого события отличается и со временем эволюционирует. Как организовать хранение и использование этих событий в аналитике, чтобы не утонуть в нюансах? Нормализация? Или хранение JSON? Что выбрать?

Спикер описывает сложности, альтернативные пути решения, их плюсы и минусы и представляет гибридный подход, объединяющий элементы разных подходов. Также в докладе немного статистики по использованию этого подхода в Snowflake на десятках млрд событий.

#modeling #eventflow