Google BigQuery

Amplitude UIを使用してAmplitudeイベントデータをBigQueryに定期的に同期するように設定するか、履歴データの同期を手動で開始してください。この記事では、AmplitudeアカウントとBigQueryアカウントを接続し、データを同期する方法について説明します。

考慮事項

• クエリコストを節約するため、Amplitudeはイベントテーブルをevent_timeの日付でパーティション分割します。テーブルのパーティショニングの詳細については、BigQueryのドキュメントを参照してください。
• Amplitudeはエクスポートの整合性チェックを毎日実行します。 Amplitudeは毎日、過去数日間にエクスポートされたイベントの数を確認します。 カウントが予想カウントと一致しない場合、Amplitudeはその日付に対して自動的にバックフィルを実行します。
• イベントエクスポートの重複が発生する可能性があります。特に、すでにエクスポート済みのデータのバックフィル時に発生する場合があります。これを支援するために、Amplitudeは提供されたデータセットに、deduplicated_<appid>という名前のテーブル関数を作成します。このテーブル機能は、重複除外されたデータのビューを提供します。

SELECT * FROM `testProject.testDataset.deduplicated_EVENTS_12345`('2022-01-01', '2022-02-10');

• 会社のネットワークポリシーによっては、AmplitudeのサーバーがBigQueryインスタンスにアクセスできるようにするために、許可リストに次のIPアドレスを追加する必要がある場合があります。

  • Amplitude米国のIPアドレス:
    • 52.33.3.219
    • 35.162.216.242
    • 52.27.10.221
  • Amplitude EU の IP アドレス:
    • 3.124.22.25
    • 18.157.59.125
    • 18.192.47.195

前提条件

BigQuery へのエクスポートを開始するには、以下が必要です。

• BigQuery Transfer サービスが有効になっている BigQuery プロジェクト。
• Amplitudeのサービスアカウントです。これにより、AmplitudeはデータをGoogle Cloudプロジェクトにエクスポートできます。サービスアカウントでは、次のロールを有効にする必要があります。
  • BigQueryユーザー
  • BigQueryデータエディター
  • 次の権限が有効になっているカスタムロールです。
    • bigquery.transfers.get
    • bigquery.transfers.update
    • bigquery.datasets.update

サービスアカウントを作成したら、サービスアカウントキーファイルを生成してダウンロードし、Amplitudeにアップロードしてください。 AmplitudeのアカウントキーをJSON形式でエクスポートします。

連携を設定する

繰り返しデータエクスポートの作成には、3つのステップが必要です。各同期は10分以内に完了し、すべてのジョブがAmplitudeに表示されます。

AmplitudeデータをBigQueryに繰り返しエクスポートするように設定するには、以下の手順に従ってください。

1. Amplitudeデータで、**[カタログ]をクリックし、[宛先]**タブを選択します。
2. [Warehouse 送信先] セクションで、BigQuery をクリックします。
3. 「はじめに」タブで、エクスポートするデータとエクスポートの頻度を選択します。 今日取り込まれたイベントを今後エクスポートするか、マージされたすべてのAmplitude IDをエクスポートするか、またはその両方を行うことができます。 イベントに対しては、特定の基準を満たすイベントのみをエクスポートするようにフィルタリング条件を指定することもできます。
4. EventテーブルとMerge IDsテーブルのスキーマを確認し、次へをクリックします。
5. Amplitude データを受信する BigQuery データセットを指定し、サービスアカウントキーファイルをアップロードします。 このファイルはJSON形式である必要があります。
6. 次へ をクリックします。 Amplitudeは認証情報をテストするためにテストアップロードを試みます。 アップロードが成功したら、完了をクリックして BigQuery の送信先の設定と有効化を完了します。

Amplitude は、将来のイベントとマージされたユーザーを自動的に BigQuery に送信します。 Amplitudeは、ベストエフォートベースでファイルをお客様のBigQueryアカウントにエクスポートします。エクスポートは通常、1 時間ごとに実行され、1 時間のデータが含まれますが、実行頻度が低く、複数時間のデータが含まれている場合もあります。

イベントテーブルスキーマ

イベントテーブルのスキーマには、次の列が含まれています。

マージされたユーザーのテーブルスキーマ

マージされたユーザーのテーブルスキーマには、次のものが含まれています。

BigQueryの重複排除テーブル

BigQueryで重複排除テーブルを作成するには：

CREATE OR REPLACE TABLE FUNCTION `amplitude_bq_ingestion`.deduplicated_EVENTS(start_date DATE, end_date DATE)
AS
SELECT *
FROM (SELECT *,
             ROW_NUMBER() OVER (
                 PARTITION BY uuid
                 ) rn
      FROM `amplitude_bq_ingestion`.`EVENTS`
      WHERE DATE(event_time) >= start_date
        and DATE(event_time) <= end_date) t
WHERE rn = 1;