GCP big queryのパーティショニングとは?? ハンズオンも含めてわかりやすく解説 こんにちは!株式会社KIYONOのエンジニアです。 本日はbigqueryのコスト最適化やパフォーマンス向上の際に検討が必須のパーティショニングについて実際のハンズオンも含めて解説していきます。 想定している読者については以下のよう... 2022.06.06 GCPデータ分析
GCP Dataflowを使ってPub/SubからGCSにストリーミングでデータを出力してみた こんにちはKIYONOエンジニアです。 本日はこちらのチュートリアルを解説してみました。 Dataflowを勉強するには良い題材なのですが、英語なのと説明もそこまで丁寧ではないので本記事にてわかりやすく解説できた... 2022.06.03 GCPデータ分析
CDP 【入門】Hadoop・Sparkの概要から、GCP環境( Dataproc・Dataflow )への移行を理解 こんにちは! KIYONOエンジニアです。 今回は、ビッグデータ処理のためのフレイムワークとして活躍してきた、Hadoop、Sparkについて基礎的な部分の解説と、昨今のオンプレミス環境からクラウド環境への移行需要を満たすGCPサービ... 2022.06.01 CDPGCPデータ分析
GCP 【図解付き】Cloud Pub/Subに概要や使い方についてわかりやすく解説 こんにちはKIYONOエンジニアです。 本日はGoogle CloudのPub/Subについて解説していきます。 Pub/Subといえばリアルタイム分析として使われることはわかるが、なぜリアルタイム分析と... 2022.05.23 GCPデータ分析