こんにちは、香田です。
BigQueryでは外部データソースに対して、直接クエリ実行が可能で現在下記がサポートされています。
Google スプレッドシートのデータも対応しているので、直接クエリでスプレッドシートのデータを絞り込みBigQueryへ書き込むといった用途もできるので用途によっては使えそうですね。
今回、BigQueryからGoogle スプレッドシートへのクエリ実行方法について紹介していきます。
続きを読む
こんにちは、香田です。
Cloud Data Fusionではパイプライン等をHTTPで作成、管理できるCDAP REST APIが提供されています。
Cloud Data FusionはCDAPを利用したサービスなので、CDAPて提供されているAPIが同じように使用可能です。
今回、バッチ パイプラインをAPI経由で作成し実行する流れを紹介していこうかと思います。
続きを読む
こんにちは、香田です。
GCPのサービスを利用して、リアルタイムにデータ変換処理のパイプラインを実現する場合、Cloud Dataflowを利用することが多いのではないでしょうか。
例えば、DataflowでPubSubからメッセージを読み込み、BigQueryにロードするといった処理がテンプレートとしても用意されているので、要件にマッチしていれば簡単に導入できるので非常に有用ではないでしょうか。
続きを読む
こんにちは。香田です。
Salesforceの顧客情報等をデータウェアハウスに保存し、他のデータと組み合わせ
分析したいといった要望はよくあるのではないでしょうか。
Salesforceのデータを統合するパイプラインとして、GCPのCloud Data Fusionは一つの選択肢として活用できます。
今回、GCPのCloud Data Fusionで提供されているSalesforce Pluginを利用する際、
認証情報としてUsername、Passwordの他にConsumer KeyとConsumer Secretが必要なのですが、
Salesforceにて認証情報を発行するフローにつまづいたので、ここではシンプルな手順を紹介しておきます。
続きを読む
こんにちは。香田です。
今回はローカル環境でCDAP Sandboxにてパイプラインを作成後、
GCPのCloud Data Fusionにパイプラインをインポートして実行する流れを解説していきます。