こんにちは、香田です。
今回はAthena Partition Projectionを使用しNginx アクセスログをクエリする方法について紹介していきます。
AthenaよりクエリするNginx アクセスログは、ローカル環境でDockerを利用しデータを準備していく流れとなります。
続きを読むAthena Partition Projectionを使用しNginx アクセスログをクエリする
Storage Transfer Serviceでジョブを毎時実行する
こんにちは、香田です。
今回はStorage Transfer Serviceでジョブを毎時実行させる方法について紹介していきます。
GCPで提供されているStorage Transfer Serviceを利用し、S3のデータをCloud Storageへ毎時転送できるようにしていきます。
続きを読むPrefectを使用しワークフローをECS Fargateで実行する
こんにちは、香田です。
今回はPrefectを使用しワークフローをECS Fargateで実行する方法について紹介していきます。
ワークフローの管理機能としてはPrefect Cloudを利用する為、事前に下記より無料アカウントを作成してみてください。
続きを読むCloud Workflowsを使用してBigQuery 日付別テーブルのデータを分割テーブルへ移行する
こんにちは、香田です。
今回はCloud Workflowsを使用してBigQuery 日付別テーブルのデータを分割テーブルへ移行する方法について紹介していきます。
利用する日付別テーブルとしては、Google アナリティクス 4で提供されているBigQuery Exportで生成されたテーブルを利用していきます。
Google アナリティクス 4のBigQuery Exportについては、以前下記の記事に記載してますのでよかったら参考にしてみてください。
続きを読むGoogle Workspaceの監査ログと使用状況レポートをBigQueryへエクスポートする
こんにちは、香田です。
今回はGoogle Workspaceの監査ログと使用状況レポートをBigQueryへエクスポートする方法について紹介していきます。
Google 管理コンソールを操作する必要がある為、操作する際は管理者権限が必要になってきます。
管理者権限の付与に関しては下記を参考にしてみてください。
続きを読む