実験分析ビュー

「実験分析」ビューには、実験の詳細が表示されます。 実験を選択してから、アクティビティ > 分析に移動して、統計指標の概要を表示します。これらの測定値は、実験が成功したかどうかを判断するのに役立ちます。

この記事では、分析表の各列について説明し、各列が実験とどのように関連しているかを説明します。

分析フィルタとチャートオプション

分析ビュー内の情報を時間、ユーザー、またはその他の使用可能なプロパティでフィルタリングできます。

「プロパティを選択...」を選択して、利用可能な任意のプロパティで分析ビューをフィルタリングします。

実験分析をチャートに変換するには、「チャートで開く」を選択します。Amplitudeは実験情報を最も可能性の高いチャートに変換し、新しいタブでそれらを開きます。その後、グラフを変更できます。

メトリクス名、コントロール、ステータス

「メトリック名」列には、選択したメトリックの名前が含まれています。 最上位のメトリクスはレコメンデーションメトリクスです。その他のメトリックはすべてセカンダリメトリックです。メトリック名にカーソルを合わせると、その定義がわかります。

「コントロール」列には、実験の対照群に関する情報が含まれています。

「オン」列には、実験実行中の実験アクティビティに関する情報が含まれています。 実験が完了した場合やロールバックした場合、[オン] 列にはトリートメントやプロパティなどの他の関連情報が表示されることがあります。

相対的なパフォーマンス

相対パフォーマンスは、バリアントパフォーマンスとコントロールパフォーマンスの相対的な違いを測定します。 これは相対リフトとも呼ばれます。この値を相互確認するには、単一のメトリックのセクションを展開し、バリアントの絶対リフトをそのメトリックのコントロールの絶対値で割ります。

信頼区間

信頼区間とは、測定しようとしているパラメータを含む値の範囲です。 この場合、パラメータはバリアントとコントロールの間の平均の差です。 信頼区間は確率ではありません。 信頼区間を次のように解釈してください。信頼水準を95に設定してこの実験を100回実行した場合、真のパラメータ値がこの範囲内になる回数は95回以上であると予想できます。

信頼区間は、これまでに実験で観測されたことの特徴を明らかにします。

• 信頼区間に0が含まれている場合：コントロールとトリートメントの間に違いがあるかどうかを判断するのに十分な証拠がありません。
• 信頼区間が 0 より大きい: 区間の上限と下限の両方が0より大きい。Amplitude 実験は統計的有意性に達するのに十分な観測値を蓄積しており、このバリアントはコントロールと比較してプラスの効果を有していると結論付けることができます。たとえば、リフトについて調べた場合、信頼区間がゼロより大きいバリアントはコントロールよりもパフォーマンスが優れています。
• 信頼区間が0未満の場合：Amplitude実験は統計的有意性に達するのに十分な観測値を蓄積しており、このバリアントは対照群と比較してマイナスの効果があると結論付けることができます。リフトを調べると、信頼区間がゼロ未満のバリアントはコントロールよりもパフォーマンスが悪くなります。

複数のバリアントがある場合は、信頼区間チャートで表示したいものをチャート上のドロップダウンから選択します。

信頼区間にアクセスするには、コントロールまたは実験メトリックにカーソルを合わせます。

有意性

有意性とは、各テスト変数について示されたパフォーマンスが、データのランダムな変動を反映するものではなく、ゼロから異なる可能性であることです。 この値が大きいほど、結果に自信を持てます。 より正式な意味では、有意性は1-p値です。

絶対値

絶対値の具体的な意味は、メトリックタイプによって異なります。 ユニークなコンバージョンの場合、実験は値をパーセンテージとして表現します。これは、各バリアントに対してコンバージョンしたユーザーの割合（公開ユーザーの総数に対する）を示します。分子であるコンバージョンと分母であるエクスポージャーは、パーセンテージの下に表示されます。

それ以外の場合は、この値はエクスポージャーを受けた各ユーザーの集計値（イベントの合計、プロパティ値の合計、プロパティ値の平均）を示します。分母は、エクスポージャーの合計数です。たとえば、合計10件のイベント / 平均4件 exposures = onの場合、露出したユーザー1人あたりのコンバージョンイベント数は2.5件となります。

絶対値にアクセスするには、コントロール名またはメトリック名の上にカーソルを合わせます。

ウィンソーライゼーション統計

実験でウィンソーライゼーションを有効にすると、ウィンソーライゼーションがデータに与えた影響に関する追加情報が分析ビューに表示されます。

• ウィンソーライズされたユーザー数: ウィンソーライズが調整された値を持つユーザーのカウント。
• ウィンソーライゼーション対象ユーザーの割合: ウィンソーライゼーションの影響を受けたユーザー総数の割合。

この情報は、外れ値処理が実験結果に与える影響を理解するのに役立ちます。 ウィンソーライゼーションがユーザーの大部分に影響を与える場合は、基礎となるデータの分布を調査するか、ウィンソーライゼーション設定を調整してください。

よくある質問

グラフにエラー状態が表示されるのはなぜですか？

よくある間違いとして、1 つのバリアントのみを使用してチャートを生成することが挙げられます。比較結果を表示するには、「実験結果」チャートに2つ以上のバリアントが含まれている必要があります。コントロールと少なくとも1つのバリアントの両方を含めない場合、チャートには何も表示されません。

有意性に達するのに通常より時間がかかるのはなぜですか？

T検定を使用する場合、実験結果がp値と信頼区間の計算を実行する前に、指定されたサンプルサイズに達するまで待機する必要があります。

連続テストでは、たとえ大規模な MDE を使用した場合でも、実験の効果が小さい場合、統計的有意性に達するのに時間がかかることがあります。 一般的に、T 検定は同じリフトを検出するために必要なサンプル数が少なくて済みます。

リテンション メトリックはどのように計算されますか?

Amplitudeは、リテンション メトリックのReturn Onを計算するために3つのパラメータを使用します：

• 開始イベント: エクスポージャーイベントの後に発生するイベント。開始イベントは、リテンション期間の開始を示します。
• return イベント: 開始イベントの後にユーザーに実行してもらいたいイベントです。ユーザーがリターンイベントをトリガーした場合、そのユーザーは保持中とみなされます。
• n 日目/週目/月のリターンオン: ユーザーが開始イベントを実行してからリターンイベントが発生するまでの日数、週数、または月数。Amplitudeは、このパラメータを24時間単位で計算し、カレンダーの日付は使用しません。

たとえば、ユーザーがエクスポージャーイベント、開始イベント、およびリターンイベントを実行したとします。

• エクスポージャーイベント: Page Viewed
• 開始イベント:Sign Up
• リターンイベント: Add to cart

「n 日目」の return-on 値が 7 の場合、Sign Up の 7 日後から 7 日プラス 24 時間後までの間に Add to cart がトリガーされると、ユーザーは継続しているとカウントされます。

return-on 値が「n 週目」の値で 1（1 週間、つまり 7 日間）である場合、Sign Up の後、7 日目（第 1 週）から 14 日目（第 2 週）の間の任意のタイミングで Add to cart を実行した場合、ユーザーは保持されているとみなされます。

return-on 値が n か月目 で 1（30 日間）の場合、Sign Up 後 30 日目（第 1 か月）から 60 日目（第 2 か月）の間の Add to cart 任意 のタイミングで操作を行ったユーザーは、保持されているとみなされます。