GCP 【初受験で合格体験記】Google Cloud 「Professional Data Engineer」 こんにちは! KIYONOエンジニアです。 先日、Google Cloud (旧称:GCP)の認定資格である「Professional Data Engineer」を受験し、無事合格させていただくことが出来ました! この... 2022.07.31 CDPGCPデータ分析
GCP GCP ネットワーク入門 こんにちは、株式会社KIYONOのエンジニアです!今回は、ネットワーク関連のGCPリソースである、Virtual Private Cloud(VPC)について解説をしたいと思います!次回、ハンズオン形式でVPCを実際に触って... 2022.07.30 GCP
Docker 【GCP】CloudRun × GitHub Actionsを使用したデプロイ自動化を実装する どうも、株式会社KIYONOにてエンジニアをしております。 GCP上でAWSのFargateに相当するコンテナサービスを探していましたらCloud Runが非常に便利そうだと感じたのでGitHubActionsと絡めたAPIのデプロイ... 2022.07.08 DockerGCP
GCP Cloud Composerとは?? ハンズオンも含めて解説 いつもお世話になっております。 株式会社KIYONOでエンジニアをしている寺島と申します。 今回はGoogle Cloudが提供するワークフロー管理サービスである Cloud Composerについて解説していきます。 Clou... 2022.06.30 GCP
Docker Docker ComposeでTerraformを使用しGoogle Cloud開発環境を構築 こんにちは、KIYONOのエンジニアの西園です。 今回は弊社のサービスであるMAGNETの環境下でDocker ComposeとTerraformを使用してGoogle Cloudの開発環境構築をしたのでそちらを解説したいと思... 2022.06.16 DockerGCPTerraform
GCP Cloud Bigtableのアーキテクチャを理解しよう! 概要 こんにちはKIYONOのエンジニアの西園です。 今回はBigtableのアーキテクチャについて簡単に解説してみたのでご覧ください。 Bigtableとは? Bigtableとは、端的に言うと大量のデータをリアルタイムで処理... 2022.06.15 GCPデータ分析
CDP 【入門】GCP Workflowsを使ってBigQueryを動かしてみた 暑くなってきました。KIYONOエンジニアの平田です。 今回は、GCPのWorkflowsを使ってBigQueryを操作する作業について皆さんに共有したいと思います。 対象者 Workflowsを初めて使う方 一連の... 2022.06.12 CDPGCPデータ分析
GCP big queryのパーティショニングとは?? ハンズオンも含めてわかりやすく解説 こんにちは!株式会社KIYONOのエンジニアです。 本日はbigqueryのコスト最適化やパフォーマンス向上の際に検討が必須のパーティショニングについて実際のハンズオンも含めて解説していきます。 想定している読者については以下のよう... 2022.06.06 GCPデータ分析
GCP Dataflowを使ってPub/SubからGCSにストリーミングでデータを出力してみた こんにちはKIYONOエンジニアです。 本日はこちらのチュートリアルを解説してみました。 Dataflowを勉強するには良い題材なのですが、英語なのと説明もそこまで丁寧ではないので本記事にてわかりやすく解説できた... 2022.06.03 GCPデータ分析
CDP 【入門】Hadoop・Sparkの概要から、GCP環境( Dataproc・Dataflow )への移行を理解 こんにちは! KIYONOエンジニアです。 今回は、ビッグデータ処理のためのフレイムワークとして活躍してきた、Hadoop、Sparkについて基礎的な部分の解説と、昨今のオンプレミス環境からクラウド環境への移行需要を満たすGCPサービ... 2022.06.01 CDPGCPデータ分析