Аналитическое хранилище Avito.ru — от больших к очень большим данным — Артем Данилов, Avito

На первый взгляд, проектирование хранилища данных — типовая задача: собрать требования, построить модель данных и реализовать ETL. Однако лавинообразный рост объема данных и их сложности легко может нарушить работоспособность хранилища. В докладе показано:

— как вслед за расширением бизнеса хранилище Avito за несколько лет выросло до 76 ТБайт;

— откуда вообще у компании большие данные;

— в чем состоят основные принципы аналитики;

— как эволюционировало хранилище Avito.ru.

Особое внимание уделено ответу на вопрос, почему следование ограничениям шестой нормальной формы (Anchor Modeling) помогает оперативно расширять хранилище, эффективно масштабировать нагрузку в среде MPP СУБД и развиваться в условиях микросервисов.

Avito Product Analytics Meetup
09/12/2017
https://avitotech.timepad.ru/event/60...