GCP

GCP

Google Cloudで構築するデータパイプライン：WorkflowsとDataformによる役割分担の考え方

1. 1本のスクリプトによる運用の課題データエンジニアリングにおいて、Pythonなどのスクリプト1本で「データの抽出、加工、ロード」のすべてを行う手法は、初期段階では効率的です。しかし、システムの規模が広がるにつれて、以下のような課題に直...
2026.04.07 hirata
GCP未分類
GCP

【実演あり】2025年11月NotebookLMの驚異的なアップデート

こんにちは、KIYONOエンジニアです。11月はGoogleのアップデートが驚異的でしたね。紹介したいことがたくさんあるのですが、本日はNotebookLMについて紹介いたします。1. 11月の驚異的なアップデート11月のNotebookL...
2025.12.07 saito
GCP
GCP

【活用事例あり】BigQueryからCloudSQLのデータ参照

こんにちは、KIYONOエンジニアです。本日はBigQueryからCloudSQLのデータ参照を紹介します。Webアプリケーションでよく使われるCloudSQLのデータを分析したい...ただ分析に関してはCloudSQLで集計するより、Bi...
2025.05.11 saito
GCP
BigQuery

BigQueryで生成AI!?ユーザー像を推測しよう

サマリー 近年、生成AIは目覚ましい進化を遂げており、様々な分野で活用され始めています。 Google CloudのデータウェアハウスであるBigQueryでも、生成AIを活用することで、これまでにないインサイトの獲得や業務効率化を実現でき...
2024.07.30 hirata
BigQueryGCPデータ分析未分類
GCP

【図解あり】AWSからGCPリソースにアクセスするための権限設定 Workload Identity Pool

こんにちは。KIYONOエンジニアの斉藤です。今回の記事では、AWSからGoogle Cloudに接続してデータを取得するための権限設定について解説します。本記事では、AWS Lambdaを使ってCloud Storageからデータを取得し...
2024.01.08 saito
GCP
BigQuery

BigQueryの行レベルセキュリティを活用してユーザ別データ表示を実践してみた

こんにちはkiyonoエンジニアです。絶賛減量中です。ユーザーによっては、自社のデータは見えるようにしたい、自部署のデータは見えるようにして他部署に見えないようにしたい等のケースがあるかと思います。例えば以下のようなデータがあって、A社のユ...
2023.12.01 saito
BigQueryGCPデータ分析
GCP

【Google Analytics4】GA4デモアカウントでGoogle運用の実データをサクッと扱う方法

こんにちは、相変わらず増量期のKIYONOエンジニアです。今回はこれからGoogle Analytics４（GA4）を使用する方向けの記事となっております。GA4のアカウント作成  〜  デモアカウントの開設 までを画像を用いてわかりやすく...
2023.01.23 ky-enginieer
GCPデータ分析
Django

【初心者向け】DjnagoアプリをGAE（GCP）でデプロイする方法

こんにちはKYエンジニアです。本日はGCP（Google Cloud Platform）を使ってDjnagoアプリをデプロイする方法について解説していきます。GCPとは、Google がクラウド上で提供するサービス群の総称であり、AWS同様...
2022.12.17 saito
DjangoGCPPython
GCP

【動く棒】Looker Studio（旧Googleデータポータル）でバーチャートレースしてみました

SNSやYoutubeでたまに回ってくるバズっている、バーチャートレース（BarChartRace）（棒グラフがうねうねするヤツ）を簡単なデータを使用しLooker Studio（旧Googleデータポータル）で可視化してみようと思います！
2022.10.31 ky-enginieer
GCPデータ分析未分類
CDP

「ゼロトラスト」な Google Cloud（GCP）サービス

こんにちは！食欲の秋、人生最高体重を更新中なKIYONOエンジニアです本日は、数年前からセキュリティ〜ネットワーク界隈で注目されている「ゼロトラスト」についてご紹介いたします「ゼロトラスト」理解 　〜 　ゼロトラスト関連な「GCPサービス」...
2022.09.28 ky-enginieer
CDPGCP未分類
GCP

Bigqueryのテーブルを誤って更新してしまった際の対応

こんにちはkiyonoエンジニアです。Bigqueryのテーブルを誤って更新してしまった、削除してしまった....そんな経験はないでしょうか。また実際にこれらの経験がなくとも、実際に起こってしまったらゾッとしますよね。本日は、上記の課題を解...
2022.09.24 saito
GCP
Docker

【GKE】GKE × Terraformで基本的なk8s環境を構築する

どうも、株式会社KIYONOにてエンジニアをしております。今回はGKE(Google Kubernetes Engine)を使用した基本的なKubernetes環境を構築する手順についてご紹介致します。今回はk8sクラスター上にnginxを...
2022.08.27 りゅうや澤木
DockerGCPTerraform
GCP

定期的にAPIから取得したデータをCloud Storageへ格納にしてみた

お久しぶりです。株式会社KIYONOでエンジニアをやっております西園と申します。今回はAPIを自動取得し、取得したデータをCloud Storageへ保存する仕組みを解説したいと思います。構成図上図のように今回は無料で使用できる郵便番号検索...
2022.08.01 nishizono
GCPPython
GCP

GCPインフラがデフォルトで提供しているセキュリティ対策について解説します

こんにちはKIYONOエンジニアです。本日はGoogle Cloudインフラストラクチャのセキュリティ対策について解説していきます。Google Cloudインフラストラクチャのセキュリティ対策についてはクラウド関連の実務でも必要となる知識...
2022.07.31 saito
GCP
GCP

【GCP】イベントドリブンなワークフローを作ってみた【Eventarc】

GCPのEventarcというイベント収集/管理のサービスを使ってイベントドリブンな自動化処理を作ってみた。
2022.07.31 hirata
GCP
GCP

【初受験で合格体験記】Google Cloud 「Professional Data Engineer」

こんにちは！　KIYONOエンジニアです。先日、Google Cloud (旧称：GCP)の認定資格である「Professional Data Engineer」を受験し、無事合格させていただくことが出来ました！この記事では、私の受験日20...
2022.07.31 ky-enginieer
CDPGCPデータ分析
GCP

GCP　ネットワーク入門

こんにちは、株式会社KIYONOのエンジニアです！今回は、ネットワーク関連のGCPリソースである、Virtual Private Cloud(VPC)について解説をしたいと思います！次回、ハンズオン形式でVPCを実際に触って解説する予定です...
2022.07.30 tokorozaki
GCP
Docker

【GCP】CloudRun × GitHub Actionsを使用したデプロイ自動化を実装する

どうも、株式会社KIYONOにてエンジニアをしております。GCP上でAWSのFargateに相当するコンテナサービスを探していましたらCloud Runが非常に便利そうだと感じたのでGitHubActionsと絡めたAPIのデプロイ自動化の...
2022.07.08 りゅうや澤木
DockerGCP
CDP

【入門】Hadoop・Sparkの概要から、GCP環境（ Dataproc・Dataflow ）への移行を理解

こんにちは！ KIYONOエンジニアです。今回は、ビッグデータ処理のためのフレイムワークとして活躍してきた、Hadoop、Sparkについて基礎的な部分の解説と、昨今のオンプレミス環境からクラウド環境への移行需要を満たすGCPサービス( D...
2022.06.01 ky-enginieer
CDPGCPデータ分析
トップへ戻る