GCP

GCP

Bigqueryのテーブルを誤って更新してしまった際の対応

こんにちはkiyonoエンジニアです。 Bigqueryのテーブルを誤って更新してしまった、削除してしまった....そんな経験はないでしょうか。 また実際にこれらの経験がなくとも、実際に起こってしまったらゾッとします...
2022.09.24 saito
GCP
Docker

【GKE】GKE × Terraformで基本的なk8s環境を構築する

どうも、株式会社KIYONOにてエンジニアをしております。 今回はGKE(Google Kubernetes Engine)を使用した基本的なKubernetes環境を構築する手順についてご紹介致します。今回はk8sクラスター上にng...
2022.08.27 りゅうや澤木
DockerGCPTerraform
GCP

定期的にAPIから取得したデータをCloud Storageへ格納にしてみた

お久しぶりです。株式会社KIYONOでエンジニアをやっております西園と申します。 今回はAPIを自動取得し、取得したデータをCloud Storageへ保存する仕組みを解説したいと思います。 構成図 上図のように今回は無料...
2022.08.01 nishizono
GCPPython
GCP

GCPインフラがデフォルトで提供しているセキュリティ対策について解説します

こんにちはKIYONOエンジニアです。本日はGoogle Cloudインフラストラクチャのセキュリティ対策について解説していきます。 Google Cloudインフラストラクチャのセキュリティ対策についてはクラウド関連...
2022.07.31 saito
GCP
GCP

【GCP】イベントドリブンなワークフローを作ってみた【Eventarc】

GCPのEventarcというイベント収集/管理のサービスを使ってイベントドリブンな自動化処理を作ってみた。
2022.07.31 hirata
GCP
GCP

【初受験で合格体験記】Google Cloud 「Professional Data Engineer」

こんにちは！　KIYONOエンジニアです。 先日、Google Cloud (旧称：GCP)の認定資格である「Professional Data Engineer」を受験し、無事合格させていただくことが出来ました！ この...
2022.07.31 ky-enginieer
CDPGCPデータ分析
GCP

GCP　ネットワーク入門

こんにちは、株式会社KIYONOのエンジニアです！今回は、ネットワーク関連のGCPリソースである、Virtual Private Cloud(VPC)について解説をしたいと思います！次回、ハンズオン形式でVPCを実際に触って...
2022.07.30 tokorozaki
GCP
Docker

【GCP】CloudRun × GitHub Actionsを使用したデプロイ自動化を実装する

どうも、株式会社KIYONOにてエンジニアをしております。 GCP上でAWSのFargateに相当するコンテナサービスを探していましたらCloud Runが非常に便利そうだと感じたのでGitHubActionsと絡めたAPIのデプロイ...
2022.07.08 りゅうや澤木
DockerGCP
GCP

Cloud Composerとは?? ハンズオンも含めて解説

いつもお世話になっております。 株式会社KIYONOでエンジニアをしている寺島と申します。 今回はGoogle Cloudが提供するワークフロー管理サービスである Cloud Composerについて解説していきます。 Clou...
2022.06.30 terashima
GCP
Docker

Docker ComposeでTerraformを使用しGoogle Cloud開発環境を構築

こんにちは、KIYONOのエンジニアの西園です。 今回は弊社のサービスであるMAGNETの環境下でDocker ComposeとTerraformを使用してGoogle Cloudの開発環境構築をしたのでそちらを解説したいと思...
2022.06.16 nishizono
DockerGCPTerraform
GCP

Cloud Bigtableのアーキテクチャを理解しよう！

概要 こんにちはKIYONOのエンジニアの西園です。 今回はBigtableのアーキテクチャについて簡単に解説してみたのでご覧ください。 Bigtableとは？ Bigtableとは、端的に言うと大量のデータをリアルタイムで処理...
2022.06.15 nishizono
GCPデータ分析
CDP

【入門】GCP Workflowsを使ってBigQueryを動かしてみた

暑くなってきました。KIYONOエンジニアの平田です。 今回は、GCPのWorkflowsを使ってBigQueryを操作する作業について皆さんに共有したいと思います。 対象者 Workflowsを初めて使う方 一連の...
2022.06.12 terashima
CDPGCPデータ分析
GCP

big queryのパーティショニングとは？？ ハンズオンも含めてわかりやすく解説

こんにちは！株式会社KIYONOのエンジニアです。 本日はbigqueryのコスト最適化やパフォーマンス向上の際に検討が必須のパーティショニングについて実際のハンズオンも含めて解説していきます。 想定している読者については以下のよう...
2022.06.06 terashima
GCPデータ分析
GCP

Dataflowを使ってPub/SubからGCSにストリーミングでデータを出力してみた

こんにちはKIYONOエンジニアです。 本日はこちらのチュートリアルを解説してみました。 Dataflowを勉強するには良い題材なのですが、英語なのと説明もそこまで丁寧ではないので本記事にてわかりやすく解説できた...
2022.06.03 saito
GCPデータ分析
CDP

【入門】Hadoop・Sparkの概要から、GCP環境（ Dataproc・Dataflow ）への移行を理解

こんにちは！ KIYONOエンジニアです。 今回は、ビッグデータ処理のためのフレイムワークとして活躍してきた、Hadoop、Sparkについて基礎的な部分の解説と、昨今のオンプレミス環境からクラウド環境への移行需要を満たすGCPサービ...
2022.06.01 ky-enginieer
CDPGCPデータ分析
GCP

【図解付き】Cloud Pub/Subに概要や使い方についてわかりやすく解説

こんにちはKIYONOエンジニアです。 本日はGoogle CloudのPub/Subについて解説していきます。 Pub/Subといえばリアルタイム分析として使われることはわかるが、なぜリアルタイム分析と...
2022.05.23 ky-admin
GCPデータ分析
PAGE TOP
タイトルとURLをコピーしました