累積露出グラフ：変曲点と傾きの平坦化

変曲点

ときには、1日あたりの露出回数の急激な増加または減少によって、線に変曲点が生じることがあります。

2月27日、3本すべての線の傾きが、バリアントごとに1日あたり約70ユーザーから約100ユーザーへと変わりました。また、変曲点の後で傾きが緩やかになることもあります。

これが起こる理由はいくつか考えられます。

• 実験へのトラフィックが増加した。
• 各バリアントのトラフィック割り当てが増加した。トラフィックを1つのバリアントに増やした場合、この変曲点を示す線は1本だけになります。
• ターゲット基準が変更されました。 たとえば、当初はカリフォルニア州のユーザーをターゲットにしていましたが、その後カリフォルニア州とフロリダ州のユーザーをターゲットにすることにしました。
• 広告予算の増加や新機能のリリースなどの外部イベントが発生し、より多くのユーザーが実験に参加するようになりました。

ライブ実験中の設定変更

実験の途中でトラフィックの設定やトラフィックのバリアントへの割り当てを変更しないでください。 そうすることで、結果にシンプソンのパラドックスが導入される可能性があります。 トラフィック割り当てを変更した場合は、新しい開始日を選択して実験を再開してください。 すでにターゲットとされたユーザーを含めることは避けてください。

実験中にターゲット設定基準を変更しないでください。 変更すると、サンプルがユーザーの100%にバリアントをロールアウトした場合の状況を反映しなくなります。その代わりに、実験全体へのトラフィックを徐々に増やすか、実験を行う代わりに段階的な機能のロールアウトを行ってください。

たとえば、実験の最初の週に、Android ユーザーのみをターゲットに設定した場合、そのうち 100 人が実験内容を確認したとします。 次の週、ターゲット設定基準を iOS ユーザーも含めるように変更すると、そのうちの 20 人が実験内容を確認しました。

2週間後、220人のユーザーがあなたの実験を目にしました。そのうちの9%（20/220 = 1/11 = 9%）はiOSユーザーです。実験をトラフィックの100%にリリースすると、iOSユーザーの実際の割合は16.7%であることがわかります。この場合、あなたはiOSユーザーの影響力を過小評価しています。 実験によって Android ユーザーにはプラスの効果が得られ、iOS ユーザーにはマイナスの効果が得られた場合、ポジティブな実験だと思うものに基づいて機能を展開することもできますが、結果はマイナスです。

実験終了日の変更を検討してください

傾きが変わった理由を答えられたら、実験終了日を調整するかどうかを検討してください。 トラフィックが多いほど、統計的有意性に到達するのが速くなります。 トラフィックが少ないと、統計的有意性の達成が遅くなります。

平坦な斜面

3月4日から3月11日までの間、グラフはかなりフラットです。 この期間中、この実験に参加した新しいユーザーはほとんどいませんでした。 考えられる説明には次のようなものがあります。

• この実験に追加できるユーザー数が不足しました。
• 露出イベントの送信にバグが存在した。
• 季節性は製品の使用に大きく影響します。

次の時間単位のチャートは、季節性の強い例を示しています。

3月21日午後7時から3月22日午前9時までの間（グラフの一番右側の部分）、この実験を目にしたユーザーはほとんどいませんでした。その直前、午前5時頃から、多くのユーザーがこの実験を目撃しました。 グラフの左側では、ユーザーがゆっくりと流入しています。 あるオンラインギャンブル会社がこの実験を行っているため、彼らがジャックポットを実施するとトラフィックが急増します。