ホールドアウトグループで実験からユーザーを除外する

• ホールドアウトグループを作成し、その中で実験を管理する
  |

特定の割合のユーザーに実験を表示しないことが役立つ場合があります。これは、複数の実験の複合的な効果を長期的に測定する場合に特に当てはまります。1つの実験の統計的有意性が、実験の真の累積的影響を反映しない可能性があるからです。

Amplitude Experimentでは、ホールドアウトグループを作成して実験を追加することで、実験からユーザーを簡単に除外できます。ホールドアウトグループは、ロールアウトされたバリアントの長期的影響を測定し、バリアントによって実験プログラム全体の割合がどれだけ上昇したかを測定するのに特に便利です。

基礎となる実装の詳細については、Amplitudeの開発者向けドキュメントを参照してください。

開始する前に

ホールドアウトグループを使用する場合、留意すべき点がいくつかあります。

• ホールドアウトの割合を1％から10％の間で設定します。
• トラフィック全体の保留部分が大きくなると、特にトラフィック量が多くない場合は、実験が結論に達するために必要な時間が長くなる可能性があります。
• ホールドアウトグループに実行中の実験を追加****しないでください。有効な実験でユーザーの割り当てを解除することにより、データの整合性を著しく損なう可能性があります。代わりに、実行開始前にホールドアウトグループに実験を追加してください。
• ホールドアウトグループから実行中の実験を削除****しないでください。有効な実験にユーザーを割り当てることにより、データの整合性を損なう可能性があります。
• 同じ理由で、実行中の実験を含むホールドアウトグループを**削除しないでください。**代わりに、グループ内のすべての実験が終了した後にホールドアウトグループを削除してください。

ホールドアウトグループを作成する

ホールドアウトグループを作成して実験を追加するには、次のステップに従ってください。

1. Amplitude Experimentで、[Experiments]（実験）ページの*[Experiment Groups]（実験グループ）タブに移動します。（実験内でこれを実行する場合は、[Configure]（設定）タブを開き、[See Holdout Groups]*（ホールドアウトグループを表示）をクリックします。）ここで、すべてのホールドアウトグループを表示し、新しいホールドアウトグループを作成できます。
2. プロジェクトに新しいホールドアウトグループを追加するには、[Add a new holdout group]（新しいホールドアウトグループを追加）をクリックします。

既存のグループがある場合は、[Create A New Group]（グループの新規作成）をクリックして、ドロワーで*[Holdout Group]*（ホールドアウトグループ）を選択します。

3. [Holdout group settings]（ホールドアウトグループの設定）モーダルで、グループの名前、説明、ホールドアウトの割合を入力します。詳細設定（グループの評価モードやバケットキーなど）を表示し、変更することもできます。

**注：**グループを作成した後は、ホールドアウトの割合を変更できません。これにより、一貫したバケッティングとユーザーエクスペリエンスが保証されます。

4. ホールドアウトグループに実験を追加します。

5. [Add Group]（グループを追加）をクリックして、プロセスを完了します。

ホールドアウトグループを管理する

[Experiment Groups]（実験グループ）タブまたは実験内でホールドアウトグループを管理します。

1. [Experiment Groups]（実験グループ）タブで、編集したいグループが見つかるまで表をスクロールします。
2. 編集アイコンをクリックします。
3. [Holdout group settings]（ホールドアウトグループ設定）モーダルで変更を行い、[Save]（保存）をクリックします。

あるいは、ホールドアウトグループの実験の場合は、次のステップに従ってください。

1. [Configure]（設定）タブに移動します。
2. 編集するグループ名をクリックします
3. [Holdout group settings]（ホールドアウトグループ設定）モーダルで変更を行い、[Save]（保存）をクリックします。

ホールドアウトグループを分析する

Experiment Results（実験結果）チャートを使用してホールドアウトグループを分析します。

事前入力された実験結果チャートを作成するには、次のステップに従ってください。

1. [Experiments]（実験）ページに移動し、[Experiment Groups]（実験グループ）タブを開きます。
2. 分析したいホールドアウトグループを見つけて、チャートアイコンをクリックします。
3. [Open in Analytics]（Analyticsで開く）をクリックします。

次のフィールドが事前入力された、新しい実験結果チャートが開きます。

• • • エクスポージャーイベント
      • ホールドアウト用でオンになっているセグメント
      • 統計手法：T検定（バリアントごとに必要なサンプル数10,000に設定）
      • 分析期間

ここから、主要指標を選択し、ホールドアウトグループの影響を分析します。

高度なユースケース

• 複数のホールドアウトグループに実験を追加すると、実験のトラフィックがさらに制限されます。これは、所属する各ホールドアウトグループごとに各ユーザーを評価する必要があるためです。

例えば、次の2つのホールドアウトグループがあるとします。

• • ホールドアウトグループ1には実験Aと実験Bが含まれ、ホールドアウト率は5％です
    • ホールドアウトグループ2には実験Aと実験Cが含まれ、ホールドアウト率は5％です

実験Aは、トラフィック全体の0.95 * 0.95 = 0.9025、または90.25％を受け取ることになります。

複数のホールドアウトグループに実験を追加する代わりに、関連するすべての実験を含む単一のグループを作成します。上記の例では、実験A、B、Cを含む1つのグループになります。

• ホールドアウトグループと相互排除グループに実験を追加すると、各ユーザーがホールドアウトグループと相互排除グループの両方で評価されるため、実験のトラフィック量がさらに制限されます。

例えば、次のホールドアウトグループと相互排除グループがあるとします。

• • ホールドアウトグループのホールドアウト率は5％で、実験Aが含まれています
    • 相互排除グループでは、トラフィックの半分がスロット1で実験Aに向けられ、残りの半分はスロット2で実験Bに向けられます

実験Aは、トラフィック全体の0.95 * 0.5 = 0.475、または47.5％を受け取ることになります。

さらに詳しくは、こちらの相互排除グループについてのAmplitudeヘルプセンターの記事をお読みください。