Amplitude English Documentation
Amplitude Experimentの概要：A/Bテストを通じてプロダクトエクスペリエンスを最適化する Experiment Analysisビューを理解する Experimentでアプリレベルのユーザー権限を設定する Amplitude Experiment: 重要な用語

実験結果で実験データを深く掘り下げる

この記事のテーマ：

  • Amplitude Experimentで作成するA/Bテストの分析パワーを拡張する

以前は、Amplitudeの顧客は、プラットフォームに内蔵された実験機能を利用したい場合に、Amplitude Experimentの機能フラグングシステムを使用する必要がありました。 実験結果**では、サードパーティであろうとホームグローンであろうと、**Amplitude Analytics以外の機能フラッギングプラットフォームに投資したAmplitudeの顧客は、独自の機能フラッギングプラットフォームによって生成されたA/Bトラッキングデータを使用しながら、実験用のAmplitudeの計画、トラッキング、分析ツールを活用できます。

開始する前に

実験結果を使用する前に、実験に関連する指標イベントをインストルメント化したことを確認する必要があります。 これらがなければ、実験結果が分析で各バリアントを比較するために必要とする成功指標と目標を立てることはできません。

また、実験に参加しているユーザーへのバリアントの配信を表す、必要なエクスポージャーイベントをインストルメント化したことを確認したいと思うでしょう。 より詳細な情報については、エクスポージャートラッキングに関するAmplitude開発者ドキュメントを参照してください。

実験結果を使用してA/Bテストを分析する

A/Bテストを作成し、結果を表示するには、次のステップに従ってください：

  1. 新規作成>分析>実験結果をクリックします。
  2. プライマリ指標モジュールで、+ Add Metricまたは*+* Define single-use metricをクリックして、プライマリ指標の設定を開始します。
  3. シングルユース指標を追加する場合は、ドロップダウンメニューを使用して、指標を定義フライアウトパネルで指標タイプを指定します：
          • ユニークコンバージョン
            * イベント合計
            * プロパティ値の合計
            * プロパティ値の平均
            * ファネルコンバージョン
            * 数式

最初の4つは、個々のイベント指標分析に利用できます。ファネルコンバージョンでは、コンバージョンがカウントされるために完了する必要があるマルチステップジャーニーを定義できます。 最後のオプションである数式では、選択したイベントまたはイベントを中心に数式を定義できます。

  1. 次に、この指標に使用されるイベントを指定します。 a + where クローズを使用してイベントをフィルタリングすることもできます。 完了したら、Doneをクリックします。 
    where_filter.png

オプションで、セカンダリ指標モジュールで*+* Add Metricまたは*+* Define single-use metricをクリックして、分析に2番目の従属指標を追加します。 必要に応じて、複数のセカンダリ指標を追加できます。

  1. 露出モジュールで*+ Add* Eventをクリックして、実験の露出イベントを定義します。 露出イベントは、ユーザーが実験の一部になるためにトリガーする必要があるイベントです。
  2. モジュールによって実行されるバリアントで、バリアントを追加します。 すべての実験は、コントロールとして知られている少なくとも1つのバリアントが必要です。 + Add Experiment Variantをクリックして、バリアントを追加します。バリアント
    add_variant.pngを定義するプロパティと値を選択し、適用をクリックします

。

  1. + Add Experiment Variantをクリックして、必要に応じて、実験セットアップを機能フラグングシステムに反映するために、さらにバリアントを追加します。

Amplitudeは、統計結果を即座に計算し、結果にそれらを表示します。 結果では、デフォルトのシーケンシャルテストからTテストなど、実験の統計設定を変更することもできます。

結果を解釈する

詳細は、使用している指標タイプによって異なりますが、結果を表している3つのチャートが表示されます：

  • バリアントによるパフォーマンス
  • 時間の経過に伴う絶対パフォーマンスの信頼区間
  • 累積暴露

実験結果FAQ

グラフがエラー状態を表示する理由は？

よくある間違いは、1つのバリアントのみを使用してチャートを生成しようとすることです。

実験結果チャートは、結果を生成するためにコントロールと比較する何かが必要です。コントロールと少なくとも1つのバリアントの両方を含めることを怠ると、チャートは表示されません。

重要度に達するまでに時間がかかるのはなぜですか？

T-テストでは、実験結果がp値と信頼区間の計算を実行する前に、実験が指定されたサンプルサイズに達するまで待つ必要があります。

シーケンシャルテストでは、大きなMDEであっても、実験のリフトが小さい場合、統計的有意性に達するのに時間がかかる場合があります。Tテストは、通常、同じリフトを検出するためにサンプル数が少なくなります。

Need help? Contact Support

Visit Amplitude.com

Have a look at the Amplitude Blog

Learn more at Amplitude Academy

© 2025 Amplitude, Inc. All rights reserved. Amplitude is a registered trademark of Amplitude, Inc.