相互に排他的な実験をセットアップして実行する

複数の実験を同時に実行する場合、1 つの実験を受け取ったユーザーが 2 つ目の関連実験を見ないようにしたい場合があります。これらの実験は同じ問題を異なる方法で解決する可能性がありますので、両方を見ているユーザーを混乱させることは避けましょう。相互作用効果はまた、結果を歪める可能性があります。

実験を使用すると、2 つ以上の実験を相互に排他的なものとして設定できます。相互排他的な実験はユーザーを共有しません：実験Aを受け取ったユーザーは実験Bを受け取ることはありませんし、その逆もまた成立します。

基礎となる実装の詳細については、フラグの依存関係を参照してください。

相互排他的な実験を使用する場合

次の状況では相互に排他的な実験を使用してください。

プロダクトの同じ領域で同時に行われる実験で、同じ目標を共有しています。
同じファネル内で行われ、同じ目標を共有する同時実験。

また、これらの実験を同時に実行するのではなく、順番に実行することもできます。

相互排他グループを作成する

相互排他グループを使用する場合は、次の注意事項に注意してください。

トラフィックをスロット間で均等に分散します。スロットとは、実験の対象となるグループの割合です。グループに複数のスロットを追加して、グループ全体にトラフィックを分散できます。
相互排他グループに実施中の実験を追加しないでください。実行中の実験を追加すると、アクティブな実験からユーザーを削除することにより、データの整合性が著しく損なわれる可能性があります。実験が実行される前に相互排他グループに実験を追加してください。
相互排他グループから実行中の実験を削除しないでください。実行中の実験を削除すると、ユーザーをグループ内の他の実験にさらすことにより、データの整合性が損なわれる可能性があります。
同じ理由で、実験を実施している相互排他グループを削除しないでください。相互排他グループは、グループ内のすべての実験が完了した後に削除してください。

相互排他グループを作成するには

実験機能で、実験 > MutExとホールドアウトタブに移動します。
プロジェクトにグループがない場合は、[新しい相互排他グループを追加] をクリックして新しいグループを作成します。すでにグループが存在する場合は、[グループの作成] をクリックし、[相互排他グループ] を選択します。
グループの名前と説明を入力した後、評価モード、バケッティング、キーなどの配信設定を入力します。
必要な数のスロットを作成し、各スロットに実験を割り当てます。異なるスロットでの実験は相互に排他的です。相互排他グループには最大20のスロットを追加できます。

グループを作成したあと、そのグループに含まれるスロット数やトラフィック割り当ての割合を変更することはできません。この制限により、一貫したバケット設定と一貫したユーザー体験が保証されます。

（オプション）［個人］タブまたは［コホート］タブから、相互排他グループに追加する個人またはコホートを指定します。この手順は、相互排他グループで実験をテストして、Amplitudeが特定のユーザーを特定の実験に割り当てていることを確認したい場合に役立ちます。同じユーザーまたはコホートを複数のスロットに追加しないでください。最初のスロットが含めるかどうかを決定するためです。
各実験のトラフィック割り当て率を設定します。デフォルトでは、Amplitudeはトラフィックをこれらの間で均等に分配しますが、これらの割合は手動で編集できます。
グループを追加をクリックします。

高度なユースケース

実験へのトラフィック割り当てを増やすには、グループを作成するときにスロットの割合を変更してください。グループがすでに存在する場合は、同じグループ内の複数のスロットに単一の実験を割り当ててください。
複数の相互排他グループに実験を追加すると、実験のトラフィックがさらに制限されます。これは、Amplitudeがユーザーが属する相互排他グループごとに各ユーザーを評価するためです。
たとえば、次の2つの相互排他的グループを考えてみましょう。
- 相互排他グループ1には、スロット1に実験Aがあり、スロット2に実験Bがあり、各実験がトラフィックの50%を受け取ります。
- 相互排他グループ2には、スロット1に実験Aがあり、スロット2に実験Cがあり、各実験がトラフィックの50%を受け取ります。
この場合、実験 A は 0.5 * 0.5 = 0.25、つまり総トラフィックの 25% を受け取ります。
複数の相互排他的グループに実験を追加するのではなく、関連するすべての実験を含む 1 つのグループを作成してください。この例では、このグループには実験A、B、およびCが含まれています。
ホールドアウトグループと相互排他グループの両方に実験を追加すると、実験のトラフィックがさらに制限されます。これは、Amplitudeが両方のグループについて各ユーザーを評価するためです。たとえば、次のホールドアウトグループと相互排他グループを考えてみましょう。
- ホールドアウトグループには実験Aが含まれており、ホールドアウト率は5%です。
- 相互排他グループには、スロット1に実験Aとスロット2に実験Bが含まれています。各実験はトラフィックの50%を受け取ります。
この場合、実験 A には 0.95 * 0.5 = 0.475、つまり総トラフィックの 47.5% が割り当てられます。

詳細については、Amplitude 実験でのホールドアウトグループの利用を参照してください。

よくある質問

ローカル評価で実行されている実験のみを、ローカル評価で実行されている相互排除グループに追加できます。

相互排他グループには、ウェブ実験と機能実験を組み合わせて含めることができます。

実験を開始する前に相互排除グループを作成することが最善ですか？

はい実験開始後にターゲティングに影響を与える設定変更を避けてください。相互排除グループにアクティブな実験を追加した場合、Amplitude実験はユーザーを再割り当てすることがあります。

スロット割り当て率はユーザーのターゲティングにどのような影響を及ぼしますか？

相互排除グループを作成する際には、割り当て率を設定します。これは、Amplitudeがユーザーを実験に割り当てる確率です。たとえば、割り当て率が 25% の場合、ユーザーは実験に参加する確率が 25% であることを意味します。割り当ての合計は 100% 以下にすることができます。この割合が 100% 未満の場合、未使用トラフィックは実験の「オフ」扱いを受けます。

Amplitude実験はいつ相互排除を適用しますか？

Amplitude 実験は、ユーザーを実験に割り当てる際に特定の操作順序に従います：

individual user qualification → mutual exclusion → sticky bucketing → target segment

Amplitude 実験は相互排除グループよりも前に個々のユーザーの資格を評価するため、個々のユーザーの下でターゲットにされるユーザーは、それらの実験が相互排除グループを共有している場合でも複数の実験を見ることができます。同じ規則がコホートの個々の包含にも適用されます：Amplitude実験はまた、それらを相互排除グループの前に適用します。

相互排除が設定されている場合、ユーザーに複数の実験が表示されるのはなぜですか？

実験が相互排除を使用している場合でも、同じユーザーは複数の実験を表示できます。考えられる理由：

上記の操作の順序は次のとおりです（個々のユーザー資格は相互排除の前に実行されます）。
Amplitudeがユニークユーザーをどのように追跡しているか。たとえば、ユーザーがログインする前に複数のデバイスを匿名で使用している場合があります。 Amplitudeがユーザーを識別して既存のIDにマージするまで、Amplitudeはセッションを割り当て可能な別のユーザーとして扱います。
バリアントのジャンプ。ユーザーは1つのフラグまたは実験に対して2つ以上のバリアントを確認できます。

これは役に立ちましたか？