実験を実行する前に、MDE（最小検出可能効果）を設定することにより、どのように成功を測定するのかを見積もる必要があります。MDEを、実験を実行することにより確認したい最小の変化として考えてください。間違いのないMDEを計算する方法がない場合、設定には注意が必要です。Amplitude Experimentでは、デフォルトのMDEは2％ですが、MDEは固有のビジネスニーズと強く関連するため、各実験の設計フェーズで慎重に検討してください。MDEを設定する際は次のことを考慮します。

実験タイプ
主要指標
関連するリスク

MDEと実験タイプ

Amplitude Experimentの*[Plan]（計画）タブにあるHypothesis Testing*（仮説検定）またはDo No Harm（害を及ぼさない）から実験タイプを選択できます。

ケーススタディを検討し、実験タイプによってMDEがどのように変化するかを詳しく説明します。

小規模アート企業のマーケティングディレクターが、Amplitude Experimentを使用してチケット管理システムの更新を計画しています。データサイエンスチームがいないため、ディレクターは実験が必要かどうかを選択し、必要であれば、実験の実行方法を選択する必要があります。次の2つのアップデートを行いたいと考えています。

ページ訪問からログインユーザーによるチケット購入へのコンバージョンを向上させるために、イベントページに「クイックチェックアウト」オプションを追加する。
すべてのユーザーのチェックアウト時に新しい支払いオプションを追加する。

1つ目のアップデートでは、「クイックチェックアウト」ボタンの設置によりコンバージョン率が希望量だけ向上することを確認するために、仮説検定が役立ちます。マーケティングディレクターは、次の会計四半期の目標はチケットの販売収益を3％増加させることだと言っています。これらの企業目標は、仮説検定を計画する際に重要です。この場合、検定の方向を「増加」に、MDEを3％にします。

2つ目のアップデートは、財務要件を満たすために必要な機能強化です。チェックアウトプロセスの改善は流通性がないため、ユーザーがチェックアウトプロセスを完了することによる売上が、支払い方法を追加することによって低下しないことを確認するために、Do No Harm（害を及ぼさない）実験が役立ちます。過去4四半期において、平均1％のユーザーがチェックアウトプロセスを開始した後に放棄しました。したがって、このDo No Harm（害を及ぼさない）実験では、方向を「低下」に設定し、MDEを1％に設定します。

注：T検定を実行する場合、Amplitudeの期間推定ツールで、実験を実行するのに1ヶ月かかるという制約を設定し、MDEの設定を支援することもできます。

MDEと主要指標

Amplitudeでは、MDEは主要指標のコントロール平均と関連します。例えば、コントロール群のコンバージョン率が10％である場合、MDE2％（0.2）は、コンバージョン率が9.8％から10.2％の範囲外になった場合に変化が検出されることを意味します。

前のセクションのケーススタディを再検討してみましょう。チケット購入の主要指標により、どのようなMDEの変化が必要になるのか考えてみてください。

仮説検定実験は、チケット価格の年間販売期間に行われます。
チケットの売上と正の相関があるイベントチケットの数は、前の会計四半期よりも大幅に減少します。
実験は、大規模な対面集会を禁止する世界的なパンデミックの間に実行されます。

実験を計画し、MDEを設定する際に、あらゆる固有のビジネスニーズと状況を考慮する必要があります。実験は、できるだけ害を与えないことを目標として実行する必要があります。

注：実験結果を分析する際に、MDEを設定することもできます。

MDEと関連リスク

実験は、リスクのない結果を生まず、実行するには多くの時間がかかり、大規模なサンプルセットが必要になる可能性があります。つまり、コストが高くなり、ユーザーに悪影響を及ぼす可能性が高くなります。リスクを分析する際に覚えておくべき最も重要なことは、このMDEがサンプルサイズと逆になる関係があることです。つまり、MDEが小さいか「敏感」なほど、統計的有意性に達するために必要なサンプルサイズは大きくなります。

ここでは、リスクをさらに検討するために考えていただく追加の質問をご用意しました。

実験の推定コストまたは実行時間は、希望する成果を得るために、実行するに値しますか？
実験を行った場合、ユーザーが受ける可能性のあるマイナスの副作用は何ですか？その結果こうむる損害を考慮しても、実験を行う価値はありますか？
実験は必要ですか？それとも、機能リリースなどの他のオプションを検討する必要がありますか？
満足できる最小の変化（パーセンテージ）は何ですか？例えば、2%、3%、あるいは5%上昇するなら、実験を行う意思がありますか？
実験が、年間購読者数が100から105に増加するなど、肯定的な結果をもたらす場合、それは上司に提案するのに十分な大きさでしょうか？

Need help? Contact Support

Visit Amplitude.com

Have a look at the Amplitude Blog

Learn more at Amplitude Academy