Андрей Кузнецов — Пишем гибкие пайплайны для дата-платформ с Dagster

Описание к видео Андрей Кузнецов — Пишем гибкие пайплайны для дата-платформ с Dagster

Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— —
На сегодняшний день не так часто говорят про унификацию построения дата-пайплайнов — особенно в ситуации, когда приходится вырываться из Java/Scala-мира и строить цепочки из компонентов со смешанными языками и технологиями.

Как подружить Spark + Scala-джобы и Python-приложения? Dagster дает удобные компоненты для написания и отладки таких пайплайнов, при этом имеет большое число интеграций с де-факто стандартами систем оркестрации, вычисления и так далее.

В докладе Андрей расскажет, зачем это нужно и как писать на Dagster пайплайны с переиспользуемыми блоками и гибкой архитектурой.

Комментарии

Информация по комментариям в разработке

Похожие видео