実験設計フェーズ：実験の目標を定める

• 新しい指標をゼロから作成し、既存の指標を編集する |

実験は、トラックするイベントがなければ何も教えてくれません。 実験に指標を追加するには、[実験目標]パネルの[計画]タブで行います。ここでは、Amplitude Experimentに、露出イベントとして何を使用するか、主要指標をどうしたいか、二次指標をどうしたいかを指示します。主要指標は、仮説が受け入れられているか、または拒否されるかを決定します。つまり、実験が成功したか、または失敗したかです。

主要指標には多くの項目があります。そのため、適した項目を選択することが重要です。A/Bテストで経験していない場合は、どれが適切かを判断するのが難しい場合があります。しかし、何を探すか分かっている場合は、適切なバリアントの成功確率が劇的に高まります。

• バリアントが成功するかどうかを指示する単一のユーザーアクションを特定してください。
• バリアントで行った変更によって直接影響されるイベントを測定します。
• 影響を与えようとしているユーザー行動を完全にキャプチャするイベントを選びます。

一般的なミスの1つとして、適切でない場合、収益指標にデフォルトが設定されます。これは、バリアントが、選択した指標とは異なる変更を導入した場合に発生します。バリアントが製品ページの見え方と機能を変更する場合は、そのページでの指標を、収益指標ではなく、主要指標として選択します。収益指標はその後のファネルのいくつかのステップでは役立たない可能性があります。

Amplitude Experimentでは、実験を実行する際に複数の指標を定義できます。主要指標とは異なり、二次指標は必要ありません。しかし、多くの場合、二次指標は役立ちます。それらは、分析の品質を向上させるだけでなく、そもそも実験をロールアウトする価値があるかどうかを評価できます。

実験の成功指標を設定するには、次のステップに従ってください。

1. 実験の[計画]タブで、露出イベントを選択します。これは、実験に参加する前に、ユーザーがトリガーする必要のあるイベントです。 Amplitude Exposureイベントを使用することを強く推奨します。
     Amplitudeの露出イベントは、アプリが.variant()を呼び出すときに送信されます。これで、Amplitude Experimentが分析を行うために使用するユーザープロパティを設定します。Amplitudeの露出イベントを使用すれば、確実にアプリは正しい時間にイベントをトリガーします。

ただ、代わりにカスタム露出イベントを選択することもできます。そのためには、*[カスタム露出]*をクリックし、イベントを選択します。間違った時間にカスタム露出イベントをトリガーするリスクがはるかに大きいことに注意してください。これは、サンプル比の不一致につながる可能性があります。

詳細については、露出イベントについてのAmplitude開発者センターの記事を参照してください。 2. [主要指標]ドロップダウンから、主要指標を選択するか、新しい指標を作成します。[方向性]の横にある、成功指標が高くなるか、低くなるかの予測を指定します。わからない場合は、*[任意]*を選択します。次に、最小検出可能な効果としても知られる実験の最小目標を設定します。これは、実験が成功とみなすための、コントロールとバリアントの最小限の違いです。 3. *[二次指標]*では、含める必要がある二次指標について、このプロセスを繰り返します。

**注：**Amplitude Experimentは、カスタム指標の使用をサポートしていません。

成功指標設定により、期間見積もりツールを使用して、実験で重要な結果を達成するために必要な時間とサンプル量を推定します。Amplitude Experimentは、履歴データに基づいて合理的な業界のデフォルトを事前に入力しますが、必要に応じて、信頼度、統計的検出力、最小検出可能な効果、標準偏差、検定タイプを調整できます。 これらや、その他のAmplitude Experimentの概念の詳細については、主要な実験用語集を参照してください。

実験タイプを選ぶ

Amplitude Experimentでは、実行する実験のタイプを選択できます。 *[計画]タブの[実験目標]*では、次の実験タイプのいずれかを選択できます。

• 仮説検定（デフォルト）：データを使用して、パフォーマンスに基づいてどのバリアントをロールアウトするかを見極める実験。 バリアントがコントロールを上回る結果を出さない場合、通常は実験をロールバックし、コントロールエクスペリエンスを使います。
• *害を与えない（DNH）：*方向性の決まった実験では、目的はこの変更が重要な指標に影響を与えないことを確認することです。このタイプの実験は、設計システム変更やサンセットでなければならない機能によく使用されます。

例として、「増加」の方向設定で、最小目標（MDE）2%の仮説検定実験を実行するとしましょう。 これは、指標が少なくとも2％増加すると考えていることを意味します。実験タイプを、害を与えない（DNH）に変更すると、指標が「2％増加しない」ことを期待していることになります。*害を与えない（DNH）*実験の優れたユースケースは、アプリでサービス契約を開始し、ユーザーリテンションの変化がないかテストすることです。

注：実験の結果が統計的に有意でない場合は、仮説検定実験のコントロールに戻り、DNH実験の最高パフォーマンスバリアントをロールアウトします。DNH実験に複数の処置バリアントがある場合、次のことを行います：

• • 主要指標の方向が*「増加」*である場合、最も肯定的なリフトの処置を選択する
    • 主要指標の方向が*「減少」*である場合、最も否定的なリフトの処置を選択する

新しい指標を作成する

ドロップダウンリストの指標を使用しない場合は、新しい指標を作成できます。 そのためには、次のステップに従ってください。

1. 指標ドロップダウンから、*[+新しい指標を作成]*をクリックします。
2. *[指標を作成する]*モーダルで、新しい指標に名前を付け、タイプを選択します。指標は、ユニークコンバージョン、平均イベント合計、数式、ファネルコンバージョン、プロパティ値の合計、プロパティ値の平均の6つの特定のタイプから選びます。
3. 指標イベントを選択します。これは、その指標を最もよく表すイベントです。次に、*[作成]*をクリックします。

既存の指標を編集する

作成したら、指標を後で編集できます。既存の指標を編集する場合、その指標を使用しているすべての実験で変更されるので注意してください。

既存の指標を編集するには、次のステップに従ってください。

1. 指標ドロップダウンをクリックして、編集する指標にカーソルを合わせる。
2. *[完全な定義を編集する]をクリックする。[指標を編集する]*モーダルが開く。
3. 必要な変更を行い、*[変更を保存する]*をクリックする。

次のステップは、バリアントを作成して追加することです。