Filip Stępniak - Dagster dbt, czyli jak zbudować platformę Big Data (PyData Bydgoszcz #20)

PyData Bydgoszcz spotkanie 20
czwartek 7.12.2023
Młyny Rothera (Spichrz Zbożowy, 2. piętro), Mennica 10, Bydgoszcz

Filip Stępniak
Mąż i tata dwójki dzieci, bydgoszczanin na emigracji (aktualnie tymczasowo w Bydgoszczy). Absolwent licencjatu na SGH (metody ilościowe) i studiów magisterskich z matematyki ekonomicznej na KIT (Karlsruhe, Niemcy). Pracuje od ponad 5 lat w niemieckiej firmie IT - esentri AG. Urodzony data scientist, doświadczony inżynier danych. Życiowym mottem jest budowanie mostów: zawodowo między data science a inżynierią danych, a prywatnie - między Polska a Niemcami.

"Dagster dbt, czyli jak zbudować platformę Big Data"
U jednego z naszych klientów, miliardowej firmy leasingowej, tworzymy platformę danych opartą o Modern Data Stack. Dane z różnych źródeł są agregowane i udostępniane do raportowania, analizy danych i tworzenia modeli uczenia maszynowego.
Dagster jest odpowiedzialny za orkiestrację procesów ELT, natomiast dbt za przekształcenia danych, w miejscu ich przechowywania - w naszym przypadku na platformie danych - Snowflake.
Celem tej prezentacji jest pokazanie na podstawie DEMO, jak tworzyć solidne i przejrzyste przepływy danych oraz jak doskonale współdziałają ze sobą poszczególne komponenty naszego stacka danych.

PyData Bydgoszcz
https://www.meetup.com/PyData-Bydgoszcz

[email protected]
  / pydatabydgoszcz  
  / pydatabydgoszcz  
#BydgoszczIT

Nagranie sponsorowane przez firmy Huuuge Games
https://huuugegames.com

Realizacja wideo:
Jacek Owczarz
Jack Jack Films
+48 884 391 000