Скачать или смотреть Виталий Моисеев — Как мы строили lakehouse на Ozone

Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
Скачать презентацию с сайта — https://jrg.su/B2Trx3

Как моя команда в компании «Островок!» разрабатывала и запускала Dota 2 — вторую версию нашей внутренней аналитической платформы, созданной для замены существующего решения на базе Vertica и HDFS. Расскажу о выборе архитектурных решений и переходе к S3-совместимой инфраструктуре с использованием Apache Ozone в связке с Trino, Spark и Iceberg.

Подробнее поговорим про:

ограничения прежней платформы и предпосылки к переходу;
анализ альтернатив: почему выбрали Apache Ozone как хранилище, совместимое с S3 API;
особенности интеграции Ozone с Trino, Spark и Iceberg;
архитектуру Dota 2: от ingestion до аналитики;
практический опыт миграции пайплайнов и данных;
уроки, инсайты и подводные камни, которые мы встретили на пути.