実験のトラブルシューティング

実験やフラグを作成して展開するときに予期しない問題が発生することがあります。 このページでは、一般的な問題とその回避策について説明します。

この記事では、Amplitude 実験で実験を設定して実行する方法について理解していることを前提としています。再確認する必要がある場合は、ヘルプセンターのAmplitude 実験の概要と実験の設定に関する記事を確認してから、先に進んでください。

実験トラブルシューティングのチェックリスト

これらの質問を、実験の不一致を調べるための簡単なチェックリストとして使用してください。 ある質問に「はい」と答えることができる場合、その質問が問題の原因である可能性は低いです。

デバイスIDとユーザーIDは一致していますか?

実験やフラグに使用するデバイスIDとユーザーIDは、Amplitude アナリティクスのデバイスIDとユーザーIDと一致している必要があります。

ご使用のフラグは有効ですか?

デプロイにフラグが表示されるようにするには、そのデプロイ内でフラグを有効にする必要があります。

バリアントの名前に「Off」以外の名前を使用していますか？

バリアントに「Off」という名前を付けてはいけません。 Amplitudeは、「OFF/FALLBACK」バケット内のユーザーのためにこの値を予約しています。

フォールバックは、実験がユーザーをトリートメントグループに割り当てることができない場合にAmplitudeが提供するデフォルトのバリアント（通常は「コントロール」）です。

割り当てイベントと露出イベントは異なるイベントを指していますか？

割り当てイベントと露出イベントは同じイベントを使用できますが、異なる概念を表しています。それぞれが実験において異なる役割を果たします:

• 割り当てイベントは、ユーザーによるバリアントへの割り当ての直前に発生します。
• エクスポージャーイベントは、ユーザーがバリアントを受け取るためにトリガーする必要があるイベントです。

Amplitudeはセッションの開始時にユーザーを割り当てます。ユーザーはフローの後半までエクスポージャーイベントをトリガーしない可能性があります。

正しいイベントがそれぞれにマッピングされていることを確認します。

詳細については、「機能割り当てイベント」を参照してください。

古いプロパティは新しいプロパティと同期されていますか？

単一のプラットフォーム（たとえばiOS）で実験を実行した場合でも、プラットフォーム値が異なるユーザー（たとえばAndroid）が引き続き表示される可能性があります。これは、ユーザーが複数のプラットフォームでプロダクトにアクセスし、そのユーザーの最新のイベントが実験の対象となるプラットフォームとは異なるプラットフォームから発生した場合に発生します。割り当てイベントは自動的に発生し、platformなどの非実験プロパティは含まれません。

その他の実験の不一致

実験の問題の中には、あなたの直接的なコントロールの外にあるものもあります。 このセクションでは、これらのシナリオについて説明します。

ユーザープロパティのターゲット設定が遅れる

Amplitude 実験は、1時間ごとにコホートのターゲティングを更新します。実験に直接送信されたプロパティに対するターゲット設定は、リアルタイムで適用されます。Amplitudeが保存するユーザープロパティのターゲット設定は、CDNのため最大1時間遅れることがあります。

ユーザーは割り当てられたバリアントを受け取っていません

Amplitude 実験はサーバー側でデータを生成し、割り当てをユーザープロパティとして保存します。タイムアウト、ネットワークエラー、または広告ブロッカーが原因で、ユーザーに割り当てられたバリアントが受信されない場合があります。

また、ユーザーはある日1つのバリアントを受け取り、翌日には別のバリアントを受け取ることもあります。Amplitude 実験のバケット作成はユーザーIDとデバイスIDに依存しているため、デバイスIDのみに依存していてユーザーのデバイスIDが変更された場合、ユーザーは2番目のバケットに移動することがあります。これは、ユーザーが前回の訪問後にシークレットモードを開いたり、キャッシュやクッキーを消去したりした場合に発生します。

ユーザーは割り当てイベント以降のイベントを記録しません

ユーザーは、他のアクティブなイベントをログに記録することなく、割り当てイベントをトリガーできます。

• ユーザーの広告ブロッカーやアナリティクスブロッカーが、アナリティクスアプリケーションのイベントを妨害します。機能実験のリクエストはバックエンドサーバーから送信され、通常はそれを通過しますが、ブロッカーはウェブ実験に影響を与える可能性があります。
• ユーザーがアプリを開くと、アプリはAmplitudeのバックエンドサーバーにリクエストを送信し、割り当てイベントをトリガーします。 その後、ユーザーはアナリティクスイベントをトリガーする他のアクションを実行する前にアプリを終了します。
• Amplitudeのサーバーは、エンドユーザーからではなくバックエンドから直接割り当てリクエストを受け取ります。 グループプッシュ通知やマーケティングメールなどのオフラインキャンペーンで実験を行ったかどうかを確認してください。