累積エクスポージャーグラフ：勾配の増加と減少

累積エクスポージャーグラフは、実験によって時間の経過とともにエクスポージャーが発生したユーザー数を示しています。X軸は、各ユーザーが最初に接触した日付を示しています。Y 軸は、実験に接触したユーザーの累計数を示しています。

Amplitudeは、ユーザーが複数の実験バリアントを受け取った場合を除き、各ユーザーを1回カウントします。 複数のバリアントを受信したユーザーは、各バリアントに対して1回カウントされます。

累積曝露グラフの解釈

この記事では、累積ばく露の結果について以下の通り説明します。

• 傾斜が増大する：線は常に上向きに右に向かいます。
• 傾斜が減少する：線は右上に向かいますが、累積露出は時間の経過とともに緩やかになります。

その他の記事では、累積曝露結果について以下を扱っています：

• 変曲点または平坦な斜面。
• 発散する線（類似または異なる傾き）。

傾斜の増加

傾きが増加する標準的な累積露出グラフでは、各線は単一のバリアントを表します。たとえば、3 月 20 日が実験の初日であり、その日には 158 人のユーザーがコントロールバリアントのエクスポージャーイベントをトリガーすることがあります。 1日後、合計314人のユーザーがコントロールバリアントを受け取りました。その数字は3月20日と3月21日の件数の合計です。

各線の傾きは、y軸の変化量をx軸の変化量で割った値です。

∆y / ∆x = (cumulative users exposed as of day T1 - cumulative users exposed as of day T0) / (number of days elapsed between T0 and T1) = Number of new users exposed to the experiment, per day, from day T0 to day T1.

このグラフのその他の側面：

• グラフは累積的なものなので、Y軸は減少しません。この線の傾きは、実験に毎日さらされる新規ユーザーの数です。 線の伸びが遅くなったり止まったりする場合がありますが、累積露出グラフは決してピークに達したり、その後低下したりしません。
• 末尾の点線は、データが不完全な日付を示しています。 詳細については、Amplitudeの不完全なデータに関するガイダンスを参照してください。
• この2つの線は互いに正確に一致していません。各線は固有のバリアントを表しており、各バリアントが同じ量のトラフィックを受信する場合でも、バリアント間でエクスポージャーはわずかに異なる場合があります。
• どちらの変種も安定したグロース経路をたどっており、これは季節性がないことを示しています。ユーザーが平日にあなたのプロダクトにエンゲージする可能性が高い（したがって実験を受ける可能性が高い）場合、このチャートにはこのパターンが表示されます。週末になると、y軸の値はよりゆっくりと増加します。

時間単位と日単位の設定

x軸を日単位ではなく時間単位に変更すると、多くの場合、チャートに新しいパターンが表示されます。

その傾向は依然として線形です。 これは時間単位のグラフであるため、午後9時から午前5時頃までは、追加のユーザーが実験を受けることはほとんどありません。ユーザーはおそらく眠っており、この時間帯にプロダクトを使用していないでしょう。グラフの日次版にはこのパターンが示されていない。

これはもっと極端な例です。 エクスポージャーはステップ関数のように見えます。この場合、すでに実験を少なくとも1回受けたユーザーは、これらの平坦な期間中にフィーチャーフラグを再度評価している可能性があります。

傾斜の減少

実験の累積エクスポージャーは最初は強く、その後時間の経過とともに徐々に低下することがあります。

この実験が開始されたとき、毎日約280人の新しいユーザーがそれぞれのバリアントを受け取っていました。最終的に、エクスポージャー率は1つのバリアントにつき1日あたり約40人の新規ユーザーにまで低下しました。

静的なコホートは実験を制限する可能性があります

静的コホート（単独で成長したり縮小したりしないコホート）をターゲットにすると、累積エクスポージャーは時間の経過とともに平坦化することがあります。

例えば、メンバー数が100人の静的コホートを考えてみましょう。初日には、そのうち40人のユーザーがあなたの実験を受け取ります。残っているのは、対象となる60人のユーザーのみです。実験に参加できるユーザー数は毎日少なくなり、累積露出量グラフの傾きは平坦になります。

実験で静的なコホートを使用する場合は、期間推定値の使用方法を再検討してください。 サンプルサイズを算出するのではなく、この固定サンプルサイズで合理的に検出できるリフトのレベルを検討してください。

この方法でコホートを使用する場合、より多くのユーザーが勝利バリアントを受け取ったときに、そのコホートが同様の向上を示す可能性のある、より大きな母集団を代表しているかどうかを確認してください。そうであるとは想定しないでください。この仮定は、ある国で実験を行い、その後、他の国でも同じ影響を想定することに似ています。

勾配が低下するその他の考えられる原因

• 動的なコホートの成長が十分に速いわけではないか、実験とやり取りするユーザーの数が限られている場合があります。
• スティッキ バケット設定: ユーザーがコホートに入ってから退出した場合、ターゲット設定基準を満たさなくなった後でも（一貫性を保つために）ユーザーが実験を受け続けるかどうかを決定してください。
• この実験はまず、後から対象となったユーザーを代表しないユーザーグループに到達します。プロダクトを 30 日間使用したユーザーは、100 日間アクティブだったユーザーとは異なる方法でテストした機能を使用することがあります。定常状態のユーザーに対するトリートメント効果を調査するために、当初計画していたよりも長く実験を実施してください。
• ユーザーは徐々に実験に慣れてしまい、繰り返し表示されると反応しなくなります。

累積接触数グラフが平坦化していても、必ずしも実験の影響が限定的であることを意味するとは限りません。ユーザーの行動の詳細が結果を決定づけます。

このパターンは、実験を実行する必要がある期間に重大な影響を及ぼします。 標準的な方法では、推定サンプルサイズを1日あたりの平均トラフィックで割ることで実験期間を計算します。 この方法はここでは適用されません。 推定値が分母を過大評価しているため、通常は予想よりも長く実験を実行する必要があります。