実験の目的を定義する

追跡基準がなければ実験は何も教えてくれません。 実験デザインパネルの「目標」セクションで実験にメトリクスを追加します。

プライマリ メトリクスとセカンダリ メトリクスを定義します。

プライマリメトリックは、仮説を受け入れるか拒否するかを決定し、実験が成功したか失敗したかを決定します。実験の成功を評価するための適切なプライマリメトリックを選択してください。A/Bテストを初めて行う場合は、以下のガイドラインに従ってプライマリメトリックを選択してください。

• バリアントが成功したかどうかを示す単一のユーザーアクションを特定します。
• バリアントの変更が直接影響するイベントを測定します。
• 影響を与えようとしているユーザーの行動を完全に把握できるイベントを選択してください。

実験は各実験に対して複数のメトリックをサポートしています。セカンダリ メトリクスは必須ではありませんが、分析の質を向上させ、実験を展開するかどうかを判断するのに役立ちます。

実験のメトリックを設定する

1. 既存の実験を開くか、実験を作成してから、「メトリック」セクションまでスクロールし、「編集」アイコンを選択します。
2. ［メトリクスを追加］を選択し、ドロップダウンリストから目的のメトリクスを選択します。または、カスタムメトリクスを作成を選択して独自のメトリクスを定義します。
3. メトリクスがすべきかすべきでないか、増加か減少か、およびその割合を指定します。
4. （オプション）プライマリ指標には、許容できる最小限の目標を設定します。 これは、実験の成功または失敗を判断するために必要な対照とバリアントとの間の最小相対距離です。
5. セカンダリメトリックを追加するには、メトリックを追加を選択し、このプロセスを繰り返します。

メトリクスを追加したら、バリアントを設定します。

成功指標とガードレール指標の例

成功指標は、改善したい主な成果を測定します。

• コンバージョン指標: 購入完了率、サインアップコンバージョン、カートへの追加率。
• エンゲージメント指標: 日次アクティブユーザー、平均セッション時間、機能の採用率。
• 収益指標: 平均注文額、ユーザーごとの収益、サブスクリプションのアップグレード。
• リテンションの指標: 7日目のリテンション率、リターンユーザー率。

ガードレール指標は、実験中に劣化してはならない重要な指標をモニターします。

• パフォーマンス指標: ページ読み込み時間、API応答時間、アプリのクラッシュ率。
• 品質指標: エラー率、トランザクションの失敗率、サポートチケットの量。
• コアエンゲージメント: 実験とは無関係な主要機能の使用状況、全体的なセッション数。
• ビジネスの健全性: サブスクリプションのキャンセル率、払い戻し率、否定的なレビュー率。

たとえば、新しいチェックアウトフローをテストする場合、成功のメトリックは「購入完了率（増加）」であり、ガードレールのメトリックは「チェックアウトページの読み込み時間（増加なし）」と「支払いエラー率（増加なし）」です。

期間推定ツール

期間推定ツールは、メトリック設定に基づいて、重要な結果を達成するために必要な時間とサンプルサイズを計算します。 Amplitude実験は、過去のデータから業界のデフォルト値を事前に入力します。 信頼度レベル、統計的検出力、最小検出可能な効果、標準偏差、およびテストタイプを調整できます。

カスタムメトリックを作成する

ニーズを満たす標準的なメトリックがない場合は、新しいメトリックを作成してください。

カスタムメトリックを作成する手順

1. [カスタムメトリクスを作成] を選択します。
2. メトリックに名前を付け、説明を追加します。
3. メトリックのタイプを定義します。 メトリックは次のいずれかのタイプにすることができます。
   • ユニークなコンバージョン数
   • イベント合計
   • 数式
   • ファネルコンバージョン
   • リターンオン・リテンション
   • プロパティ値の合計
   • プロパティ値の平均値。
4. ［イベントを追加］ を選択して必要なイベントを設定し、次にイベントを選択します。
5. 必要なキープロパティを設定します。
6. [保存して閉じる] を選択します。

エクスポージャーイベントを定義する

実験では、「実験設計」パネルまたは「分析設定」を開き、露出イベントを選択します。 ユーザーがこのイベントをトリガーすると、Amplitude実験 はユーザーを実験にバケットします。Amplitudeエクスポージャーイベントは、実験のバリアントに対するユーザーのエクスポージャーを追跡するための最も正確で信頼性の高い方法です。そのため、可能な限りこのイベントを使用してください。

Amplitudeは、アプリが.variant()を呼び出すとAmplitude exposureイベントを送信します。このイベントは、Amplitude実験が分析に使用するユーザープロパティを設定します。 Amplitudeエクスポージャーイベントを使用すると、イベントは正しいタイミングでトリガーされます。

代わりに、カスタム露出イベントを選択することもできます。 「カスタム露出」を選択し、次に「イベントを選択」を選択します。カスタム露出イベントは、間違ったタイミングでトリガーされるリスクが高く、サンプル比率の不一致を引き起こす可能性があります。

詳細については、エクスポージャーイベントの記事を参照してください。

実験で集計されたメトリックを使用する

イベントベースのメトリクスに加えて、集約メトリクス（旧称：ウェアハウスメトリクス）を実験の目標として使用できます。集約メトリクスは、データウェアハウスから直接Amplitudeにインポートされた事前計算済みメトリクスです。これにより、ソースの信頼できる唯一の情報源と実験分析との整合性が保たれます。

集約メトリクスは、実験目標が以下のような行動イベントのみから計算することが困難なビジネスメトリクスを含む場合に有用です。

• 収益と財務指標: 平均注文額、クレジット残高、またはサブスクリプション収益。複数のデータソースにわたって計算する必要があります。
• カスタマー健全性の指標: カスタマー生涯価値 (LTV)、健全性スコア、またはデータウェアハウスでモデル化された解約リスク予測。
• 状態指標: 個別のイベントではなくユーザーの状態を追跡する現在のサブスクリプションレベル、アクティベーションステータス、またはアカウントレベルの属性です。

実験にメトリクスを追加すると、集計メトリクスがメトリクスピッカーに表示され、ウェアハウスのアイコンが表示されます。 イベントベースのメトリックと同様に、これらをプライマリまたはセカンダリのメトリックとして使用できます。 Amplitudeは、各集計メトリックが最後に同期された時間と、次の同期がスケジュールされた時間を表示するため、実験結果が最新のデータを反映していることを確認できます。

集約メトリクスの設定と使用に関する詳細は、集約メトリクス（旧ウェアハウスメトリクス）の概要を参照してください。