このページでは

For AI agents: a documentation index is available at /docs/llms.txt. Append .md to any page URL for markdown, or send Accept: text/markdown.

主要用語

主要な実験用語の用語集

期間定義
割り当てイベント登録イベントの別名です。
オーディエンス実験の対象となるユーザーのグループです。 Amplitudeは通常、このオーディエンスを「コントロール」群と「バリアント」群に均等に分割します。
ベースラインコンバージョン率この実験が行われる前の主要な成功メトリックの現在の率。
ボンフェローニ補正多重比較問題（多重性または他所見効果とも呼ばれます）に対処するための統計手法です。
信頼区間対象となるパラメータが含まれる、妥当な値の範囲。推定するパラメータは、トリートメントとコントロールの間の平均の差です。たとえば、信頼水準が95で、同じ実験を100回実行した場合、各実行の信頼区間には少なくとも95回、真のパラメータが含まれています。
信頼度 / 有意性レベル偽陽性の確率です。 たとえば、信頼度が95%の場合、実際の変更はなかったにもかかわらず、成功メトリックへの変更を検出できる確率は5%です。
登録イベントユーザーまたは顧客を登録済みの参加者またはメンバーに変換するイベント。
露出イベントユーザーが実験に基づく変更を確認したことを示すイベントです。
ガードレールのメトリクス成功メトリックを向上させる一方で、後退から保護したいメトリックです。たとえば、ユーザーをビジネスプロダクトの無料トライアルに誘導する場合、消費者向けプロダクトのトライアルはカウンターメトリックとして機能することができます。ビジネスでのトライアルが増加すれば、消費者向けトライアルは減少します。 正味の効果がプラスであることを確認します。
CUPED既存データを使用した制御実験（CUPED）は、実験のばらつきを減らすためのオプションの統計手法です。
仮説問題の記述を解決または軽減できる方法についての前提条件と、それらの方法の背後にある理由。
p値トリートメントとコントロールの間に差異がないと仮定した場合に、観測されたデータと同等かそれ以上に極端なデータが得られる確率。
ペイロードバリアントに付加された変数。 ペイロードを使用して、コードを変更することなくリモートでフラグを変更したり実験したりできます。
主要な成功メトリクスこの実験を実行することで向上させたい主なメトリックです。理想的には、カスタマーとビジネスの両方の成功を促進します。
問題の説明解決しようとしている内部ビジネスまたはユーザーの問題についての説明。
プライマリメトリクス実験を目標と照らして評価するための定量的尺度です。 プライマリメトリックは、仮説が承認されるか却下されるか、および実験が成功したか失敗したかを決定します。
実行時間実験の実行に要する時間。これは、バリアントごとに必要なサンプルサイズとトラフィックレベルに基づきます。
ロールアウト率このバリアントを受け取るターゲットユーザーの割合または数。
サンプルサイズ統計的有意性を確実に検出するために各実験バリアントで必要なユーザー数またはトラフィック量。
セカンダリ成功メトリクスこの実験で変化することを期待する追加のメトリックです。
シーケンシャルテストサンプルサイズが事前に固定されていない統計分析。 シーケンシャルテストを使用すると、偽陽性を誇張することなくA/Bテストを実施し、結果を確認してテストを終了できます。
統計的検出力検出すべき変更が存在する場合に、成功メトリックへの変更を検出できる確率。
T検定2 つのデータ集団間の平均を比較して、その差が統計的に有意かどうかを判断する統計分析。
目標上昇率/最小検出効果（MDE）この実験の結果として、主要な成功メトリックにもたらすと予想される変化率。
第1種エラートリートメントとコントロールとの間に統計的に有意な差が存在しないにもかかわらず、存在すると誤って分類すること。
第2種エラー違いが存在する場合に、治療と対照の間に違いが存在しないと誤って分類すること。

これは役に立ちましたか？