ベイズ統計学

ベイズ統計では、あるバリアントが別のバリアントよりもパフォーマンスが優れている確率を計算することによって、グループを比較します。p値や固定仮説検定に依存する従来の方法とは異なり、ベイズ統計はチームの意思決定方法と一致する直接的な確率推定を提供します。

ベイズ分析の仕組み

ベイズ手法は、実験結果を評価するために3つのコア概念を使用しています：

• 事前分布: データを収集する前のパラメータまたは仮説についての初期予想値です。Amplitude 実験は、予期される結果について中立性を保つために、情報量のない事前分布を使用しています。バイナリメトリクスの場合、AmplitudeはBeta（1,1）事前分布（一様分布）を使用します。連続的なメトリクスについては、Amplitudeは情報量のない正規事前値を使用します。
• 尤度：特定のパラメータ値セットが与えられた場合に、収集された結果を観測する確率。ユーザーがバリアントとやり取りするときに、尤度関数は観測されたデータを分析に組み込みます。
• 事後分布：事前分布と観察された尤度を組み合わせて、実験結果に関する最新の確信を生成した結果。事後分布は、最も可能性の高い値と、これらの推定値を取り巻く不確実性を示します。 事後分布は、相対リフト、絶対リフト、およびバリアント平均など、Amplitude 実験のすべてのメトリクスの基礎を形成します。

ベイズ手法を使用すると、コントロール平均とトリートメント平均が異なるかどうかをテストできます。任意の有意性閾値を設定するのではなく、考えられる結果の分布全体を検討し、ビジネス目標とリスク許容度に合った意思決定を下すことができます。

ベイズ統計学では、実験は学習と期待値の更新の継続的なプロセスとして扱われます。 より多くのデータを収集するにつれて、事後分布は蓄積された知識を反映するように改良されます。 このアプローチにより、市場の変化やカスタマーの好みに基づいたより迅速な意思決定が可能になります。

ベイズの主な概念

ベイズ統計を理解するには、次の概念を確認してください。

• コントロールを上回る確率：トリートメントバリアントがコントロールよりも優れたパフォーマンスを示す確率。これは頻度論者のp値とは異なります。p値は真の効果が存在しない場合にのみ結果（またはより極端な結果）が表示される確率を示します。 ベイズ分析はより直感的な質問「このバリアントが実際に優れている確率はどれくらいですか？」に答えます。
• 信用区間：トリートメントとコントロールの平均の差が指定された確率で収まる範囲。頻度統計における信頼区間とは異なり、ベイズ信用区間はパラメータの可能性のある値を直接記述します。95%の信用区間とは、真の差がその期間内にある確率が95%であることを意味します。
• 「最良である確率」：実験に2つ以上のバリアントが含まれている場合に表示されます。 このメトリクスは、各バリアントが他のすべてのバリアントよりもパフォーマンスを発揮する確率を示します。バリアントが2つしかないため、このメトリックは「コントロールを上回る確率」に一致します。

ベイズ統計を使用する場合

ベイジアン手法は、実験のパフォーマンスを継続的に把握したい場合に適しています。 これらは、事前の知識を取り入れたり、より小さなサンプルサイズで意思決定を下したり、あるいは「このバリアントが成功する確率はどのくらいですか？」といったビジネス上の質問に直接答える確率の記述が必要な場合に役立ちます。

単純な判断基準に基づいて標準的なプロダクト実験を実施しているチームの場合、Amplitude 実験はデフォルトでシーケンシャルテストを使用しています。このテストには強力な偽陽性コントロールが含まれており、迅速な結果を提供します。いつでもベイジアン分析に切り替えることで、実験結果についてさらに詳しい視点を獲得できます。

ベイズ統計の設定

実験にベイズ統計を使用するには、次の手順を実行します。

1. 実験ページに移動します。
2. 既存の実験を開くか、実験を作成をクリックします。
3. *詳細（オプション）*設定までスクロールし、統計設定をクリックします。
4. 統計方法ドロップダウンをクリックし、ベイジアンを選択します。

実験がすでに実行されている場合は、実験結果チャートでベイジアン分析に切り替えます。歯車アイコンをクリックし、統計方法、ベイジアンの順に選択します。

「Chance to Outperform」のしきい値を設定する

パフォーマンスがしきい値を超える可能性を0%から100%まで調整できます。 Amplitudeは両側ベイズ検定を実施するため、このしきい値を95%に設定することは、上回る確率が97.5%以上、または2.5%以下になった時点で実験は有意性に達します。これは95%の信頼区間に対応しています。

事後ベースのメトリックの仕組み

ベイズ分析のすべての指標（相対リフト、絶対リフト、平均値）は、事後分布から得られます。 たとえば、エクスポージャーが1回でコンバージョンがゼロの場合、事前分布によってコンバージョンが1回、非コンバージョンが1回加算されるため、コントロールの平均は33.3%と表示され、事後平均は(0+1) / (1 + 1 + 1)になります。

事前分布の影響を受けずに平均を表示するには、[分析]セクションのメトリックにカーソルを合わせます。経時平均値チャートは、累積ビューでの事後平均と、非累積ビューでのデータの生平均を示しています。

最小データ要件

信頼性の高い結果を生成するために、Amplitude 実験は信用区間と対照群を上回る確率を表示する前に最小限のしきい値を適用します。

• バイナリ指標：各バリアントで少なくとも25回のコンバージョンと100回のエクスポージャーが必要です。
• 数値指標：各バリアントで少なくとも100回のエクスポージャー。

偽陽性コントロールと多重比較

ベイズ統計は、従来の意味での偽陽性コントロールを保証するものではありません。 この方法を使用する場合、Amplitudeはボンフェローニ補正を無効にします。その代わりに、ベイズ分析は予想損失を制御し、不確実性下での意思決定に対してよりきめ細やかなアプローチを提供します。このアプローチは、ベイズ多重比較手法に関する確立された研究に従っています。

カスタム事前設定

各メトリクスの縦 3 つのドットのアイコンをクリックします。次に、「事前分布をカスタマイズ」をオンにします。事前分布のパラメータを設定します。

制限事項

Amplitude 実験のベイジアン実装はCUPED（分散低減）をサポートしていません。