累積露出グラフ：発散線

この記事では、類似した傾きを持つ発散線と、傾きが異なる発散線を比較しています。 乖離線は共通点から始まり、時間の経過とともに乖離していきます。

類似した傾きを持つ発散線

累積露出グラフが同じような傾きを持つ異なる線を示すことがあります。 これは、すべてのバリアントが準備される前に実験が開始された場合に発生します。

この例では、2つのバリアントが2月23日と2月28日という別々の日にトラフィックを受信し始め、グラフ上に一対のずらされた線が生成されました。

すべてのバリアントがトラフィックを受信する準備が整うまで実験を開始しないでください。 実験の開始後に新しいバリアントを追加すると、各バリアントが同じ期間にわたって同じ条件にさらされないため、結果が誤解を招く形で示されます。

新規性効果

もう一つの潜在的な問題は新規性効果です：トリートメントの新規性は実験結果に影響を与える可能性があります。上記の例では、バリアントAに露出したユーザーのほうが、新しい体験に順応する時間が長くありました。また、バリアントAにさらされたユーザーは、プライマリメトリクスをトリガーする機会も多くなりました。特にそれが時間制限のないメトリックである場合には、バリアント間の比較が不平等でした。

実験の中核となる要件は、トリートメント群とコントロール群の間の唯一の違いをテスト対象の機能にすることです。このようにして、発見した差異は相関関係ではなく因果関係の結果であることを知ることができます。

異なる傾斜を持つ発散線

累積露出グラフでは、いくつかの理由により、傾きの異なる乖離線が表示されることがあります。カスタム露出イベントを使用している場合、ユーザーは割り当てイベントをトリガーせずに露出イベントをトリガーし続けると、キャッシュされた古い実験のバリアントを受け取ることができます。

たとえば、Amplitudeは、露出イベントをトリガーすることなくユーザーをコントロールバリアントに割り当てることができます。後からコントロールバリアントのトラフィック割り当てを0%に設定した場合、そのユーザーは新しい割り当てイベントをトリガーすることなく、露出イベントをトリガーできます。Amplitudeはそのユーザーをコントロールエクスポージャーとしてカウントします。

この考え方は、スティッキーバケット化をオンにした実験にも当てはまります。

この例では、3 月 15 日にユーザーはコントロールバリアントについて実験を 100% にロールアウトしました。 この実験ではスティッキーバケット化が使用されているため、ユーザーがトラフィック割り当てを0%に設定したあとも、グラフでは「オン」のユーザー数が増え続けて表示されます。これは、SDK または API がリクエストしたときにAmplitudeがバリアントを割り当てるため、ユーザーがバリアントを受信しなかった場合でもバリアントはユーザーに固定されます。

スティッキ バケット化とトラフィック割り当て

スティッキーバケット化を選択してトラフィック割り当てを変更しても、ターゲットトラフィック割り当ては得られません。その代わり、2つの割り当ての間の加重平均値が得られます。これは、すでにバケットを持っているユーザーは自分のバケットにとどまるためです。ターゲット トラフィック割り当てに近づくまで待機する必要があります。

実験でスティッキ バケット設定が有効になっており、実験終了後にバリアントをロールアウトする予定がある場合は、コード内の適切な分岐を削除し、フィーチャーフラグを削除してください。コードのデプロイを行いたくない場合は、スティッキ バケット設定をオフにすることもできます。