Data Fusion

Cloud Data FusionのBatch パイプラインでSalesforceからBigQueryにロードする

こんにちは、香田です。

今回はCloud Data FusionのBatch パイプラインでSalesforceからBigQueryにロードする方法を紹介していきます。

ロード元のSalesforceのオブジェクトは取引先、取引先責任者を利用していきます。

こんにちは、香田です。

Cloud Data Fusionではパイプライン等をHTTPで作成、管理できるCDAP REST APIが提供されています。

Cloud Data FusionはCDAPを利用したサービスなので、CDAPて提供されているAPIが同じように使用可能です。

今回、バッチパイプラインをAPI経由で作成し実行する流れを紹介していこうかと思います。

こんにちは、香田です。

GCPのサービスを利用して、リアルタイムにデータ変換処理のパイプラインを実現する場合、Cloud Dataflowを利用することが多いのではないでしょうか。

例えば、DataflowでPubSubからメッセージを読み込み、BigQueryにロードするといった処理がテンプレートとしても用意されているので、要件にマッチしていれば簡単に導入できるので非常に有用ではないでしょうか。

こんにちは。香田です。

Salesforceの顧客情報等をデータウェアハウスに保存し、他のデータと組み合わせ
分析したいといった要望はよくあるのではないでしょうか。

Salesforceのデータを統合するパイプラインとして、GCPのCloud Data Fusionは一つの選択肢として活用できます。

今回、GCPのCloud Data Fusionで提供されているSalesforce Pluginを利用する際、
認証情報としてUsername、Passwordの他にConsumer KeyとConsumer Secretが必要なのですが、

Salesforceにて認証情報を発行するフローにつまづいたので、ここではシンプルな手順を紹介しておきます。

こんにちは。香田です。

今回はローカル環境でCDAP Sandboxにてパイプラインを作成後、
GCPのCloud Data Fusionにパイプラインをインポートして実行する流れを解説していきます。