ホールドアウトグループ: 高度なユースケース

この記事では、Amplitude 実験におけるホールドアウトグループの詳細なユースケースについて説明します。

事例1：複数の実験とホールドアウトグループの合理化

実験を複数のホールドアウトグループに追加すると、実験のトラフィックを制限できます。 Amplitudeは、ユーザーが属するすべてのホールドアウトグループと照らして各ユーザーを評価します。

たとえば、2つのホールドアウトグループがある場合を考えてみましょう。

• ホールドアウトグループ1には実験Aと実験Bが含まれており、ホールドアウト率は5%です。
• ホールドアウトグループ 2 には実験 A と実験 C が含まれており、ホールドアウト率も 5% です。

実験Aは両方のホールドアウトグループに属しているため、総トラフィックの大部分が割り当てられます。

0.95 * 0.95 = 0.9025 (90.25%)

複数のホールドアウトグループに実験を追加する代わりに、関連するすべての実験を含む単一のグループを作成します。単一のグループが実験全体でトラフィックをより均等に分散させることができます。

上記の例では、3つの実験すべて（A、B、C）を含む1つのホールドアウトグループを作成しています。

ケース2：ホールドアウトグループと相互排除を持つ実験を処理する

実験をホールドアウトグループと相互排除グループの両方に追加すると、実験のトラフィックがさらに制限される可能性があります。 Amplitudeは各ユーザーを両方のグループと比較して評価します。

たとえば、次のホールドアウトグループと相互排他グループを考えてみましょう。

• ホールドアウトグループのホールドアウト率は 5% で、実験 A が含まれています。
• 相互排他グループは、トラフィックの半分をスロット 1 の実験 A に、残りの半分をスロット 2 の実験 B にそれぞれ送信します。

このシナリオでは、実験Aは総トラフィックの約半分を受信します。

0.95 * 0.5 = 0.475 (47.5%)

相互排他を伴うホールドアウトグループを使用することもできますが、実験を展開する際には潜在的なトラフィック制限について計画してください。

詳細については、相互排他的な実験を参照してください。