Скачать или смотреть Конвейер Mage AI — API для BigQuery

Это видео — пошаговое руководство по созданию простого конвейера Mage AI, который извлекает данные из API и загружает их в BigQuery. Использование расписаний экземпляров позволяет добиться очень высокой экономии.

Репозиторий Github для установки Docker и Docker Compose:
https://github.com/MichaelShoemaker/D...

Документация Google по разделению и кластеризации:
https://cloud.google.com/bigquery/doc...

Установка Docker и Docker Compose на виртуальную машину GCP вручную:
   • Installing Docker and Docker Compose on a ...  

Пошаговое руководство по регистрации на Chicago Data Portal:
   • How to Retrieve Data from the Chicago Data...  

Видео, объясняющие разделение и кластеризацию НАМНОГО лучше, чем я можно:
   • DE Zoomcamp 3.1.2 - Partioning and Clustering  

Большое спасибо Сяою Вану из Mage Slack за помощь с конвертацией временных меток. :-)