みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめ拡大版SP！

#みん強

○タイムテーブル
| 時間| タイトル| 発表者|
| 01:10 | オープニング | ゲンシュン・みっつ |
| 05:05 | BigQueryからSnowflakeへ移管して作る最強のデータ基盤〜Data Ingestion編〜| civitaspo（きびたすぽ） |
| 21:10 | DataOpsハンズオンの設計と構築 | ぼうさん（Shumpei Kubo） |
| 35:43 | マルチデータプロダクト基盤としての Snowflake の権限管理とコスト管理 | Kevin |
| 50:30 | BQ + dbt + Lookerを用いた、月間800億件以上の広告リクエストに対するデータモデリング | ucchi-・mytk |
| 1:06:00 | Azure Databricksで考えるコスト管理 | 髙松 築 |
| 1:21:00 | [過去登壇者の今] データドリブン経営への転換 | 近森 淳平(@pei0804) |
| 1:41:00 | [パネルディスカッション] みんなの考える最強のアーキテクチャって？ | スピーカー全員+運営メンバー |
| 2:28:35 | [アフタートーク] みんなの考える最強のアーキテクチャって？ | スピーカー全員+運営メンバー |

○ スピーカー(発表順)
・ civitaspo（きびたすぽ）
- X（旧Twitter）https://x.com/civitaspo
- 2013年にDeNA入社。Hadoopエンジニアとしてキャリアをスタート。その後、BIツール、ETLツールの自社開発等を経験した後、MLOps、SRE、DevOps、セキュリティ領域のキャリアを経て、2022年にLayerX入社。現在はバクラク事業部にてDevOps・DataOps領域のエンジニアとして、データ基盤を含めたプラットフォーム全体の設計・実装を行っています。

・ ぼうさん（Shumpei Kubo）
- Twitter（現X）：https://x.com/_bou_3
- 2002年に銀行系SIerにシステムエンジニア（SE）として入社し、インフラやプロマネ等を担当。2015年に外資系セキュリティ会社にセールスエンジニア（SE：技術営業）として転職。外部のコミュニティ活動（HardeningProject、ゆるいハッキング大会等）に参加し始める。
- 2020年より現職（IBM）にてDataOps製品の技術営業として活動。社内外のイベント（「前向きデータ整備人」等）への登壇・主催、技術ブログの執筆やハンズオンなどを企画・実施。
- https://community.ibm.com/community/u...
- https://www.ibm.com/blogs/solutions/j...
- https://speakerdeck.com/shumpei3/
- https://qiita.com/Shumpei_Kubo
- https://blogs.trellix.jp/hardening-re...
- 発言は個人としてのものであり、所属する組織を代表するものではありません。

・ Kevin
- X（旧Twitter）：https://x.com/Kevinrobot34
- 2020年3月に大学院修了後、ナウキャストへ入社し主にPOSデータのパイプラインの作成・管理、またそのデータの分析を実施。現在では社内のデータ分析基盤開発チームのリーダーとしてAWSやSnowflakeのクラウド環境の整備や技術検証などを担当。データが好きで、KaggleではCompetition Masterを獲得したほか、複数の機械学習コンペで受賞歴あり。

・ ucchi-
- X（旧Twitter）https://x.com/hanon52_
- 慶應義塾大学院経済学研究科にてマーケティングサイエンスを専攻。データ分析を支えるエンジニアリングに興味を持ち、2021年4月にピクシブ株式会社にエンジニアとして入社。広告のデータ基盤やBI、広告配信システムの開発、Salesforce 導入を担当。現在は、データを価値に繋げる領域を中心に、マーケティングやカスタマーサクセスなど事業部の枠を超えたデータ利活用を推進している。Google Cloud Next Tokyo'23 等で登壇。

・ mytk
- X（旧Twitter）https://x.com/mytk0u0
- 2018年にピクシブ株式会社に新卒入社。作品レコメンド機能の開発に数年従事したのち広告部署に異動。広告配信システム・ロジックやデータ基盤・BIの開発などに携わる。
- 直近では広告領域のデータエンジニアの他、部署横断での開発生産性の可視化や人事関連のデータ整備・活用なども進めている。

・ 髙松 築
- 株式会社アドインテで小売企業のID-POSデータを連携したデータプラットフォームを構築。データエンジニアリングマネージャーとして、クライアントとのデータ連携からデータ突合ロジック、AIモデル、BI開発などを行っている。
- 大学８年生への進級を目前に就職し社会人歴３年目、python歴３年目、SQL歴３年目、Pyspark歴３年目とPysparkネイティブエンジニアとして活躍中。
- 2年目、3年目とMicrosoft Top Partner Enginner Awardを受賞
- 直近ではMicrosoftイベント、Databricksイベントでの登壇や、大学院の研究室向けなどにハンズオンセミナーを行うなど、データエンジニアリングの布教活動に尽力中です！

・ 近森 淳平(@pei0804)
- X（旧Twitter）https://x.com/pei0804
- VP of Data@CARTA MARKETING FIRM/CARTA HOLDINGS（当時VOYAGE GROUP）
- 子会社のZucksに2018年に新卒入社。広告配信プラットフォームのアプリケーションエンジニアとしてスタート。
その後、自社のレポーティング基盤を一新するプロジェクトに携わり、データエンジニアとしてのキャリアをスタート。
現在は、CARTA MARKETING FIRMにおいて、データ基盤の開発・運用、組織設計、採用戦略の立案に携わっています。
2024年 Snowflake DataSuperheroesとして、Snowflakeコミュニティ活動にも注力しています。

○ MC
・ ゲンシュン
- https://x.com/gen_shun
- Unipos株式会社コーポレート部CDP企画室PMO兼データエンジニアをしております。
- 理学部化学科卒、大学院中退後にUnipos(旧Fringe81)にフロントエンドエンジニアとして入社。新卒採用責任者、QAエンジニア、広告事業のプロマネを経て、データ基盤の立ち上げに参画。2年間データ基盤の開発、保守運用、分析依頼、データ民主化活動を通じて、今期からCDP企画室の立ち上げが始まりました。得意領域はtypescript、dbt、新卒採用面談。
- 最近ゼルダの伝説神々のトライフォースやってます

・ みっつ
- X（旧Twitter）：https://x.com/kaz3284
- 次世代データ基盤構築担当としてkubell(旧Chatwork)へ入社。Snowflake Data Superhero'24/'23, DataPolaris'22。
- 以前はアド系ベンチャーのエンジニアとして、サーバ運搬から始まり、開発、新人育成と様々な役割を経験。特に大規模データ処理の効率化に情熱を注いできました。
- サービス拡大と比例して日々難度が増していくアド系データ処理にて、地獄の泥沼運用から生還した経験から、最先端のクラウド（マネージドサービス）を乗りこなして運用労力を最小化することに無上の喜びを感じます。