Михаил Благов — Эволюция схемы данных. Носим данные из реляционной СУБД в Hadoop

Ближайшая конференция — SmartData 2024, 4 сентября (online), 8–9 сентября, (Москва + трансляция).
Подробности и билеты: https://jrg.su/KFFBS7
— —
Скачать презентацию с сайта SmartData — https://jrg.su/FD7Epx

Знакома ли вам такая ситуация: построили замечательный ETL, витрины и красивые дашборды. На очередной отчетной встрече о работе вашей компании докладчик открывает дашборд, а там вместо графиков красные буквы (в лучше случае) или драматическое снижение ключевых показателей. Все охают, хватаются за сердце, а вы понимаете, что кто-то просто обновил продуктивную систему, не предупредив отдел отчетности... В докладе — про эволюцию схемы реляционных данных. Как не сломать downstream своими обновлениями, как защититься от ломающих обновлений в upstream системе. Стек: Hadoop, Spark. Форматы: Avro, Parquet, ORC. И немного про схемы и технологии их обновления.