GCP 【初受験で合格体験記】Google Cloud 「Professional Data Engineer」 こんにちは! KIYONOエンジニアです。 先日、Google Cloud (旧称:GCP)の認定資格である「Professional Data Engineer」を受験し、無事合格させていただくことが出来ました! この... 2022.07.31 CDPGCPデータ分析
GCP Cloud Bigtableのアーキテクチャを理解しよう! 概要 こんにちはKIYONOのエンジニアの西園です。 今回はBigtableのアーキテクチャについて簡単に解説してみたのでご覧ください。 Bigtableとは? Bigtableとは、端的に言うと大量のデータをリアルタイムで処理... 2022.06.15 GCPデータ分析
データ分析 window関数とは?構文、使い方をわかりやすく解説 こんにちは、株式会社KIYONOのエンジニアです。 今回は、分析する際などに非常に便利なwindow関数について、window関数とは何か?構文、どのようなシーンで活用できるのかなどをご紹介させて頂きたいと思います。 window関... 2022.06.13 データ分析
CDP 【入門】GCP Workflowsを使ってBigQueryを動かしてみた 暑くなってきました。KIYONOエンジニアの平田です。 今回は、GCPのWorkflowsを使ってBigQueryを操作する作業について皆さんに共有したいと思います。 対象者 Workflowsを初めて使う方 一連の... 2022.06.12 CDPGCPデータ分析
GCP big queryのパーティショニングとは?? ハンズオンも含めてわかりやすく解説 こんにちは!株式会社KIYONOのエンジニアです。 本日はbigqueryのコスト最適化やパフォーマンス向上の際に検討が必須のパーティショニングについて実際のハンズオンも含めて解説していきます。 想定している読者については以下のよう... 2022.06.06 GCPデータ分析
GCP Dataflowを使ってPub/SubからGCSにストリーミングでデータを出力してみた こんにちはKIYONOエンジニアです。 本日はこちらのチュートリアルを解説してみました。 Dataflowを勉強するには良い題材なのですが、英語なのと説明もそこまで丁寧ではないので本記事にてわかりやすく解説できた... 2022.06.03 GCPデータ分析
CDP 【入門】Hadoop・Sparkの概要から、GCP環境( Dataproc・Dataflow )への移行を理解 こんにちは! KIYONOエンジニアです。 今回は、ビッグデータ処理のためのフレイムワークとして活躍してきた、Hadoop、Sparkについて基礎的な部分の解説と、昨今のオンプレミス環境からクラウド環境への移行需要を満たすGCPサービ... 2022.06.01 CDPGCPデータ分析
GCP 【図解付き】Cloud Pub/Subに概要や使い方についてわかりやすく解説 こんにちはKIYONOエンジニアです。 本日はGoogle CloudのPub/Subについて解説していきます。 Pub/Subといえばリアルタイム分析として使われることはわかるが、なぜリアルタイム分析と... 2022.05.23 GCPデータ分析