GCP

Docker

Docker ComposeでTerraformを使用しGoogle Cloud開発環境を構築

こんにちは、KIYONOのエンジニアの西園です。 今回は弊社のサービスであるMAGNETの環境下でDocker ComposeとTerraformを使用してGoogle Cloudの開発環境構築をしたのでそちらを解説したいと思...
GCP

Cloud Bigtableのアーキテクチャを理解しよう!

概要 こんにちはKIYONOのエンジニアの西園です。 今回はBigtableのアーキテクチャについて簡単に解説してみたのでご覧ください。 Bigtableとは? Bigtableとは、端的に言うと大量のデータをリアルタイムで処理...
CDP

【入門】GCP Workflowsを使ってBigQueryを動かしてみた

暑くなってきました。KIYONOエンジニアの平田です。 今回は、GCPのWorkflowsを使ってBigQueryを操作する作業について皆さんに共有したいと思います。 対象者 Workflowsを初めて使う方 一連の...
GCP

big queryのパーティショニングとは?? ハンズオンも含めてわかりやすく解説

こんにちは!株式会社KIYONOのエンジニアです。 本日はbigqueryのコスト最適化やパフォーマンス向上の際に検討が必須のパーティショニングについて実際のハンズオンも含めて解説していきます。 想定している読者については以下のよう...
GCP

Dataflowを使ってPub/SubからGCSにストリーミングでデータを出力してみた

こんにちはKIYONOエンジニアです。 本日はこちらのチュートリアルを解説してみました。 Dataflowを勉強するには良い題材なのですが、英語なのと説明もそこまで丁寧ではないので本記事にてわかりやすく解説できた...
CDP

【入門】Hadoop・Sparkの概要から、GCP環境( Dataproc・Dataflow )への移行を理解する

こんにちは! KIYONOエンジニアです。 今回は、ビッグデータ処理のためのフレイムワークとして活躍してきた、Hadoop、Sparkについて基礎的な部分の解説と、昨今のオンプレミス環境からクラウド環境への移行需要を満たすGCPサービ...
GCP

【図解付き】Cloud Pub/Subに概要や使い方についてわかりやすく解説

こんにちはKIYONOエンジニアです。 本日はGoogle CloudのPub/Subについて解説していきます。 Pub/Subといえばリアルタイム分析として使われることはわかるが、なぜリアルタイム分析と...
タイトルとURLをコピーしました