ホールドアウトグループ

特定の割合のユーザーから実験を閲覧できないようにする必要がある場合があります。 これは、複数の実験の長期的な複合効果を測定する場合に最も重要です。 1つの実験における統計的有意性は、実験プログラムの実際の累積的影響を反映していない可能性があります。

実験からユーザーを除外するには、ホールドアウトグループを作成します。 ホールドアウトグループは、展開したバリアントの長期的な影響と、実験プログラム全体の向上を測定します。 ホールドアウトグループは、以前の実験からユーザーのセットを保持し、それらのユーザーに対して過去の実験で勝利した組み合わせを表示します。このグループは、以前の実験の成功の実際の測定基準を提供します。

ホールドアウトグループは、以前の実験を経験します。ホールドアウトグループがどの実験を認識するかを制御する依存関係を設定できます。 詳細については、フラグの依存関係を参照してください。

ホールドアウトグループを作成する

ホールドアウトグループを使用する場合は、次の点に注意してください。

• ホールドアウト率を1%～10%の間で設定する: 総トラフィックのかなりの部分を保留にすると、実験が結論に達するのに必要な時間が長くなる可能性があります。
• 実験が開始される前にホールドアウトグループに実験を追加する：Amplitudeはアクティブな実験からユーザーを割り当て解除するため、実行中の実験をホールドアウトグループに追加するとデータの整合性が損なわれる可能性があります。
• ホールドアウトグループから実行中の実験を削除しないでください：Amplitudeはユーザーをアクティブな実験に割り当てるため、実行中の実験を削除するとデータの整合性が損なわれます。
• 実験が実行されているホールドアウトグループは削除しないでください：実験のデータを保護するには、グループ内のすべての実験が終了した後にホールドアウトグループを削除してください。

ホールドアウトグループを作成するには

1. 実験機能で、実験 > ミューテックスとホールドアウトタブに移動します。
2. プロジェクトに新しいホールドアウトグループを追加するには、[新しいホールドアウトグループを追加] をクリックします。
   • 既存のグループがある場合は、新しいグループの作成 をクリックし、ホールドアウトグループ を選択します。
3. ホールドアウトグループ設定モーダルで、グループの名前、説明、およびホールドアウト割合を入力します。 また、グループの評価モードやバケットキーなどの詳細設定を表示したり変更したりすることもできます。

4. **「実験を追加」**をクリックして、ホールドアウトグループに実験を追加します。
5. （オプション）ホールドアウトグループに含めるか、または除外する個人またはコホートを指定します。[個人] タブまたは [コホート] タブのいずれかから、[ホールドアウトに含める] または [ホールドアウトから除外] の下にユーザーまたはコホートを追加します。 このオプションにより、Amplitudeが特定のユーザーをホールドアウトグループに常に含めるか、あるいは決して含めないことが保証されます。

「ホールドアウトに含める」と「ホールドアウトから除外する」の両方に同じユーザーまたはコホートを追加しないでください。［ホールドアウトを含める］スロットによって、含めることが決まります。

6. ［グループを追加］をクリックして処理を完了します。

ホールドアウトグループを管理する

ホールドアウトグループは、「実験グループ」タブから、または実験内から管理できます。

1. 「ミューテックスとホールドアウト」タブで、編集したいグループが見つかるまで表を下にスクロールします。
2. 編集アイコンをクリックします。
3. ホールドアウトグループ設定モーダルで変更を行い、[保存] をクリックします。

ホールドアウトグループに属する実験に参加している場合は、以下の手順に従ってください。

1. 編集したいグループの名前をクリックします。
2. ホールドアウトグループ設定モーダルで変更を行い、[保存] をクリックします。

ホールドアウトグループを分析する

実験結果チャートを使用してホールドアウトグループを分析します。

事前に入力された実験結果チャートを作成するには

1. 「実験」ページに移動し、「ミューテックスとホールドアウト」タブをクリックします。

2. 分析したいホールドアウトグループを見つけて、[分析] アイコンをクリックします。

3. チャートで開く をクリックします。

4. 新しい実験結果チャートが開き、次のフィールドが入力されています。

   • 露出イベント
   • HoldoutおよびOnのセグメント
   • 統計方法を T 検定に設定（変異体ごとのサンプル数は 10,000 に設定）
   • 分析日付範囲

5. ここから主要なメトリックを選択し、ホールドアウトグループの影響の分析を開始します。

高度なユースケース

複数の実験とホールドアウトグループを効率化

実験を複数のホールドアウトグループに追加すると、実験のトラフィックを制限できます。 実験では、各ユーザーが所属するホールドアウトグループごとに評価を行います。

たとえば、次の2つのホールドアウトグループがあるとします。

• ホールドアウトグループ 1: このグループには実験 A と実験 B が含まれており、ホールドアウト率は 5% です。
• ホールドアウトグループ 2: 2番目のグループには実験 A と実験 C が含まれており、ホールドアウト率も 5% です。

実験 A は両方のホールドアウトグループ（1 および 2）に属しているため、総トラフィックの大部分、つまり 0.95 * 0.95 = 0.9025 (90.25%) を受け取ります。

複数のホールドアウトグループに実験を追加するのではなく、関連するすべての実験を含む単一のグループを作成してください。 単一のグループが実験全体でトラフィックをより均等に分散させることができます。

上記の例では、3つの実験すべて（A、B、C）を含む 1 つのホールドアウトグループを作成しています。

ホールドアウトグループと相互排除による実験を管理

実験をホールドアウトグループと相互排他グループに追加すると、実験へのトラフィック量がさらに制限されます。実験では、ホールドアウトグループと相互排他グループの両方について各ユーザーを評価します。

たとえば、次のホールドアウトグループと相互排他グループを考えてみましょう。

• ホールドアウトグループのホールドアウト率は 5% で、実験 A が含まれています。
• 相互排他グループは、トラフィックの半分をスロット 1 の実験 A に、残りの半分をスロット 2 の実験 B に送信します。

このシナリオでは、実験 A は総トラフィックの約半分、または 0.95 * 0.5 = 0.475 (47.5%) を受信しています。

相互排除を伴うホールドアウトグループを使用することもできますが、実験を計画および展開する際には、潜在的なトラフィック制限に注意してください。

詳細については、「相互排除グループ」を参照してください。