Data Fusion

Cloud Data FusionのCDAP REST APIでパイプラインを作成し実行する方法

こんにちは、香田です。

Cloud Data Fusionではパイプライン等をHTTPで作成、管理できるCDAP REST APIが提供されています。

Cloud Data FusionはCDAPを利用したサービスなので、CDAPて提供されているAPIが同じように使用可能です。

今回、バッチ パイプラインをAPI経由で作成し実行する流れを紹介していこうかと思います。

続きを読む

Cloud Data Fusionのリアルタイム パイプラインでPubSubからBigQueryにロードする

こんにちは、香田です。

GCPのサービスを利用して、リアルタイムにデータ変換処理のパイプラインを実現する場合、Cloud Dataflowを利用することが多いのではないでしょうか。

例えば、DataflowでPubSubからメッセージを読み込み、BigQueryにロードするといった処理がテンプレートとしても用意されているので、要件にマッチしていれば簡単に導入できるので非常に有用ではないでしょうか。

続きを読む

SalesforceでConsumer Key、Consumer Secretの発行方法について

こんにちは。香田です。

Salesforceの顧客情報等をデータウェアハウスに保存し、他のデータと組み合わせ
分析したいといった要望はよくあるのではないでしょうか。

Salesforceのデータを統合するパイプラインとして、GCPのCloud Data Fusionは一つの選択肢として活用できます。

今回、GCPのCloud Data Fusionで提供されているSalesforce Pluginを利用する際、
認証情報としてUsername、Passwordの他にConsumer KeyとConsumer Secretが必要なのですが、

Salesforceにて認証情報を発行するフローにつまづいたので、ここではシンプルな手順を紹介しておきます。

続きを読む