Скачать или смотреть GCP bigquery

Ez a videó a Google Cloud Platform (GCP) adattárolási és elemzési szolgáltatásait, különösen a BigTable-t és a BigQuery-t mutatja be.

BigTable és BigQuery: Mi a különbség?
A szakértő tisztázza a két "Big" technológia közötti alapvető különbségeket [01:09]:

BigTable: Egy nagy teljesítményű kulcs-érték tár, amely milliárdnyi rekordot és rengeteg oszlopot (column family) képes kezelni. Elsősorban folyamatos adatfolyamok (streaming), idősorok vagy ritka mátrixok (pl. kapcsolati hálók) tárolására alkalmas [02:59]. Itt az adatok típusa jellemzően csak string lehet [07:38].

BigQuery: Egy felhőalapú adattárház szolgáltatás, amelyet adatelemzésre és döntéstámogatásra terveztek [07:56]. Relációs táblákat kezel, SQL nyelven kérdezhető le, és a háttérben oszloptár (columnar) alapú tárolást (Dremel motor) használ a rendkívüli gyorsaság érdekében [10:32].

A BigQuery Machine Learning (ML) bemutatása
A videó központi része a BigQuery beépített gépi tanulási képességeinek demonstrálása. A folyamat lépései:

Adatok előkészítése: A Northwind adatbázis adatait denormalizálva (JOIN-okkal összevontan) egy CSV fájlba exportálják [14:35].

Feltöltés: A CSV fájlt feltöltik egy BigQuery adatkészletbe (Dataset) [22:14].

Modellépítés SQL-ben: A BigQuery kiterjesztett SQL szintaxisával (CREATE MODEL) egy lineáris regressziós modellt hoznak létre, amely képes megjósolni a várható vásárlási értéket [32:52].

Értékelés és Jóslás (Prediction): Az ML.EVALUATE függvénnyel ellenőrizhető a modell pontossága, az ML.PREDICT segítségével pedig új adatokon futtatható le a jóslás [38:28, 41:04].

Gyakorlati tanácsok
Big Data fogalma: A szakértő hangsúlyozza, hogy a "Big Data" eszközök (mint a BigTable) 100 milliós nagyságrendű rekordoknál válnak igazán indokolttá; kisebb cégeknél gyakran "ágyúval verébre" esete áll fenn [01:41].

Költségkontroll: Mivel a felhőben az adattárolásért és a lekérdezésekért is fizetni kell, a munka végeztével mindenképpen töröljük az adatkészleteket és modelleket [46:12].

A videó elérhetősége:    • GCP bigquery