メトリックの急上昇と急落をデバッグする

実験メトリックの予期しない急増や低下に気づいた場合は、何が変化したかを特定し、データが信頼できるかどうかを判断してください。このガイドでは、これらの異常をデバッグするための体系的なアプローチについて説明しています。

トラフィックの変化に対する累積露出の確認

実験ダッシュボードで累積露出チャートを確認してください。このチャートは、時間の経過に伴う露出パターンを示し、データ品質上の問題点を強調します。

累積露出チャート上のオレンジ色の点は、露出トラフィックで検出された異常を示しています。オレンジ色の点は次のことを示しています：

• 露出回数の突然の増加または減少。
• 実験構成の変更。
• 計装または追跡の問題。

データ品質チェックの失敗は、実験へのトラフィックが大幅に減少した場合に発生します。 これらの警告を確認して、急上昇または低下がメトリックの変更ではなく、露出の問題に関連しているかどうかを判断してください。

詳細については、「累積エクスポージャーグラフの解釈」を参照してください。

実験設定の変更を確認する

メトリックの急増や低下に気づいた期間に、実験のロールアウト率やトラフィック割り当て率が増加したかどうかを確認してください。

最近の変更を確認するには：

1. Amplitudeホームページの実験またはフラグの表に移動します。
2. 最終更新日順にソートすると、どの実験が最近変更されたかを確認できます。
3. 実験の設定履歴を確認して、何がいつ変更されたかを特定してください。

Experiment Management API または Slack 通知を使用して、特定の期間におけるフラグ設定のバージョンを取得できます。 設定を比較して、メトリックの急上昇や低下を説明できる可能性がある変更を特定します。

リリースとデプロイメントを確認する

メトリックが変更された期間中にコードのリリース、アプリのバージョンの更新、または機能のデプロイが行われたかどうかを確認してください。

ダッシュボード内のリリースとアノテーションは、デプロイとメトリック変更との間の時間的相関関係を特定するのに役立ちます。 まだ注釈を追加していない場合は、インシデントの原因を特定した後に注釈を追加して文書化してください。

プラットフォームとバージョンによるセグメント化

メトリックの急増や低下は、多くの場合、すべてのユーザーではなく特定のプラットフォームやアプリのバージョンに影響します。以下のデフォルトのユーザープロパティで分析をグループ化します。

• アプリのバージョン: 新しいアプリのリリースにより、バグや動作の変更が発生することがあります。
• OS バージョン: オペレーティングシステムの更新は、アプリのパフォーマンスに影響を与える可能性があります。
• プラットフォーム: この問題は、iOS、Android、または Web ユーザーにのみ影響を与える可能性があります。
• デバイスの種類: 特定のデバイスモデルや画面サイズによっては動作が異なる場合があります。

Amplitude SDKはこれらのプロパティを自動的に追跡するため、デバッグ時に信頼性の高いディメンションとなります。詳細については、ユーザープロパティを参照してください。

これらの次元で分析するには：

1. 実験結果に、関連するプロパティのgroup-by句を追加します。
2. 特定のセグメントにのみ影響を与える急上昇や急落を探してください。
3. 影響を受けるセグメントの特徴を調査します。

異常値を特定してフィルタリングする

外れ値ユーザーやデータ品質の問題は、いくつかのメトリックの急増を引き起こします。

ボットトラフィック

自動化されたボットトラフィックは、メトリクスを著しく歪める可能性があります。Amplitudeはボットに対処するためのいくつかの方法を提供しています：

• ボットトラフィックブロックを使用して、既知のボットを自動的にフィルタリングします。
• 特定のトラフィック パターンを除外するようにブロック フィルタとドロップ フィルタを設定します。

計装の問題

単一のユーザーからの迅速な発火イベントは、計装のバグを示す可能性があります：

• 頻繁に再レンダリングされるコンポーネントは、レンダリングごとにイベントを送信することがあります。
• 重複したトラッキングを防ぐために、イベントのデバウンスが必要な場合があります。
• イベントハンドラが意図せず複数回起動する場合があります。

頻度チャートを使用して、イベント数が異常に多いユーザーを特定できます。これらの異常値を調査してください。これはメトリクスを歪める可能性があります。

分析から外れ値をフィルタリングするには：

1. メトリックの頻度分布を作成します。
2. 極端な値を持つユーザーを特定します。
3. これらのユーザーが本物の行動を表しているかどうか、それともデータ品質の問題を示しているかどうかを調査してください。
4. フィルタを適用して、確認された外れ値を実験結果から除外します。

フラグキーによるエクスポージャーイベントの分析

イベントセグメンテーションチャートを作成して、特定のフラグキーに対するエクスポージャーイベントの急増を特定します。

1. 分析 > イベントのセグメント化に移動します。
2. [Experiment] Exposureイベントを選択します。
3. flag_keyプロパティごとにグループ化します。
4. 行の変更で並び替えると、どのフラグの露出量の変化が最も大きかったかを確認できます。

この分析により、特定の実験が突然トラフィックを増やしたかどうかを明らかにすることができ、メトリックの変化を説明できる可能性があります。

根本原因分析を使用します

根本原因分析は、どのユーザーセグメントがメトリックの変更に最も貢献したかを特定します。 実験特性のみでフィルタリングすることはできませんが、次のことが可能です。

1. 急上昇または急落を示したメトリックに移動します。
2. 根本原因分析を使用して、要因を特定します。
3. ユーザープロパティ、行動、セグメント内のパターンを探します。

解決と再発防止

メトリックの急上昇または低下の原因を特定した後：

1. ダッシュボードに注釈を付けて調査結果を文書化します。
2. バグが原因で問題が発生した場合は、計装を修正してください。
3. ボットや異常値が問題の原因となった場合は、今後の発生を防ぐためにフィルタを設定してください。
4. 設定変更が問題の原因となった場合は、安定した設定で実験を再開してください。
5. 急上昇や低下が露出分布の変化と相関している場合、サンプル比率の不一致のトラブルシューティングを確認してください。