サンプル比率の不一致：実験割り当てに関する問題をデバッグする

Amplitude 実験では、観測された変数の割り当てが指定された割り当てと大きく異なる場合に、サンプル比率不一致（SRM）が発生します。

たとえば、実験のトラフィック割り当てを、コントロールとトリートメントのバリアントの間で均等に分割するように設定しているのにもかかわらず、コントロールに55%のトラフィックが割り当てられた場合、これはSRMとなります。

SRMはデータにバイアスがあることを示しており、これを解決しないと予期しない結果につながる可能性があります。SRMの影響を受けた実験の結果は、慎重に扱ってください。

SRMの考えられる原因には次のものがあります。

• インストルメンテーションのエラー。
• 実験中のトラフィック割り当ての変更。
• 実験中にバリアントを追加または削除する。
• 実験期間中にスティッキーバケッティングをオンまたはオフに切り替えた。

累積割り当てチャートまたは露出チャートは、SRMの原因を特定するのに役立ちます。コントロールとトリートメントの時系列が異なるタイムスタンプを探してください。原因はこの時点で現れることが多いです。

場合によっては、バリアントジャンプによってSRMが発生します。バリアントジャンプは、同じユーザーが2つ以上のバリアントを確認した場合に発生します。バリアントジャンプは、ユーザーがすでにバリアントを割り当てられているかどうかを判断することが困難な認証パターンで発生することがよくあります。例としては次のとおりです。

• セッションの有効期間が短いアプリケーション。
• 多数の匿名ユーザーがいるアプリケーション。

実験の実際の所要時間よりも短い時間枠を分析すると、SRM警告が表示されることがあります。実験ウィンドウ全体を分析しても同様の警告がトリガーされない場合は、これらの警告を無視できます。

SRM問題の有無を確認するには、分析タブにあるデータ品質ガイドを参照してください。実装＆インストルメンテーションを選択すると、検出されたすべてのSRMの問題のカウント数が表示されます。

Amplitude 実験でのサンプル比率の不一致のデバッグの詳細についてはこちらをご覧ください。