Apr
16
#bq_sushi #17 BigQueryのデータパイプラインってどうしてる?
DataFlowやDataForm,DBTを今回は取り上げます!
Organizing : satoru_mag
Registration info |
一般参加枠 Free
FCFS
女性枠 Free
FCFS
スタッフ・スピーカー枠 Free
FCFS
LT枠 Free
FCFS
|
---|
Description
#bq_sushi #17を開催します!
配信用YoutubeのURLは こちらです!
アンケートはこちら
https://docs.google.com/forms/d/e/1FAIpQLScXKwlwk5xOIfrjIHP4DNf-kb8Jcoe3Npft5EkL1EurAMVZ1Q/viewform
今回はBigQueryのデータパイプラインってどうしてるの?というのをやります!
Dataflow、Dataform、DBTを取り上げてみます。
今回はオンライン開催となります。お寿司は出ませんので、みんなが好きなものを用意してね><
youtubeでやる予定ですので、別途URLをメールにてお知らせします!
タイムテーブル
19:00~19:05 ご挨拶
- スピーカー:なかむら さとる
19:05~19:15 最近のBigQueryアップデート
- スピーカー:na0-san マネーフォワード(ケッサイ)?でデータ整備してます。BQ Fun Slack管理人。
- 内容:半年間のBigQueryアップデートのおさらい
19:15~19:45 Cloud Dataflowによるデータ処理入門
- スピーカー:orfeon-san メルペイで色々なデータパイプラインを作っています。データパイプラインおじさん。
- 内容:リアルタイム処理などBQが苦手な部分をDataflowを使って処理する方法を紹介したいと思います。
19:45~19:50 休憩
19:50~20:10 Dataform
- スピーカー:なかむらさとる 株式会社グルーヴノーツ所属。BigQueryで人生変わっちゃいました。Google Developers Expert(GCP)
- 内容:Dataformを触ってみてイケてるところ、こんな機能もあればいいのにを紹介します。
20:10~20:30 dbtとBigQueryによるデータ管理
- スピーカー: atsumi-san Ubieというヘルスケアの会社でデータ周りの色々をしています
- 内容:dbtを用いて、BigQueryのテーブルを管理する方法やtipsについてお話します。
20:30 〆
当日の受付について
- 当日はyoutubeにて配信する予定です。リンクは後ほど参加者にお知らせします!