エージェントの結果を分析

このページでは、Agent アナリティクス UI の読み取り方法、評価結果の解釈方法、エージェントデータをAmplitudeコホートに変換する方法について説明します。このプロダクトを初めて使用する場合は、まず Agent アナリティクスの概要をご覧ください。分析する前にエージェントデータを送信するように SDK を設定してください。

エージェント アナリティクスを開く

左側のナビゲーションにある「Agent アナリティクス」エントリを選択して、Amplitudeアプリ内で「Agent アナリティクス」を開きます。このエントリは、「セッション」、「データセット」、「評価者」、「実行」、「モニター」のページに展開されます。 最上位のエントリを選択すると、_モニター_ページが開きます。

Agent アナリティクスは、選択したプロジェクトに対するセッション、評価者、および概要の指標の範囲を決定します。データを表示するにはプロジェクトを選択します。

エージェントのアクティビティをモニターする

Agent アナリティクスの左側ナビゲーションから_モニター_を開きます。モニターはランディングページであるため、最上位の Agent アナリティクス エントリを選択するとモニターも開きます。

モニターは、選択したプロジェクトと期間にわたってエージェントの稼働状況をまとめます。このページでは、エージェントのアクティビティとセッションボリューム、常時稼働のシグナルによるセッション品質、およびコストとレイテンシの傾向をグラフで示しています。これらのチャートを使用して、個々のセッションを開く前に変化を特定したり、エージェントフィルターを適用して1つのエージェントに焦点を当てたり、エージェントを比較したりできます。

プロジェクトがエージェントデータを送信する前に、モニターはグラフの代わりにSDKセットアップのスタートガイドを表示します。

セッションを参照する

Agent アナリティクスの左側ナビゲーションから_セッション_を開きます。セッションリストには、選択した時間範囲内のすべてのエージェントセッションが表示されます。次のような目的で使用します:

• 日付、エージェント、評価結果、エラーの種類、またはトピックでフィルタリングできます。
• Amplitudeコホートごとにセッションをフィルタリングすることで、特定のユーザーグループに焦点を当てることができます。
• URL クエリパラメータを使用してエージェント名でフィルタリングします (例: ?agents=<agent-name>)。
• 最も関連性の高いセッションを最初に表示して、インタラクションコンテンツを検索します。

フィルタを組み合わせることで、特定の日に特定の評価者に失敗した1つのエージェントからのセッションに絞り込むことができます。

セッションを詳細に検査する

任意のセッションを開いて、セッション詳細ビューを表示します。 このビューはセッションデータを次の5つのタブに分類します：

• スレッド：ユーザーとAIメッセージのインタラクションビュー。セッション ID を含みます。
• 情報：セッションID、エージェント、モデル、コスト、トークン、レイテンシなどのセッションメタデータ。
• ターン：入れ子になったツール呼び出しやスパンを含むターンごとの内訳。
• 評価者: セッションに対する評価者の結果。合格または失敗のステータスと信号が含まれます。
• レビュー: セッションに関する要素をレビューし、レビュー設定とラベルを指定します。

セッション階層は、_セッション > ターン > スパン_です。スパンはターンにロールアップされ、ターンはセッションにロールアップされます。 Amplitudeは、[Agent] Session IDプロパティを使用してセッションを識別します。

セッションから、次のことが可能です。

• ［ユーザーアクティビティ］を選択すると、そのユーザーのイベントタイムラインが表示されます。Amplitudeはタイムラインを[Agent]イベントにフィルタリングし、セッションで開始します。
• ［類似セッションにフィルタリング］を選択すると、類似した側面を持つセッションを検索できます。
• このセッションを特定のデータセットに含めるには、［データセットに追加］を選択します。

類似セッションを探します

セッションで問題が発生した場合、推奨フィルターを選択して、同じパターンを持つ他のセッションを表示できます。推奨フィルタは、表示しているセッションに依存しているため、広範囲な検索ではなく、具体的な例から始める場合に最適に機能します。

評価結果を読む

Agent アナリティクスは、シグナルと評価者の2つのレイヤーで品質を測定します。

シグナルは、Amplitudeがクローズされたセッションごとに実行する常時オンのエンリッチメントです。これらの設定はあなた自身が行うものではありません。 デフォルトのシグナルには、タスク完了、応答品質、ユーザーのフリクション、否定的なフィードバック、ユーザーの意図、セッションの安全性に加えて、コードベースのデータ品質チェックが含まれます。Amplitudeはシグナルが時間の経過とともにどのように機能するかを改善するため、シグナルを方向性指標として扱ってください。

評価者は、製品固有の正確な基準に基づいて自分自身で定義および調整を行うスコアラーです。

エンリッチメントは、イベントストリーム内の2つのイベントに結果を書き込みます。

• [Agent] Session Record：各セッションに1つのイベント。このイベントはシグナル結果、セッションのロールアップ（総ターン数、総コスト、トークン数）、および [Agent] Has Data Quality Issues などのフラグを伝送します。
• [Agent] Evaluator Result：セッションで実行された各評価者実行につき1つのイベント。主なプロパティには、[Agent] Evaluator Name、[Agent] Evaluator Output Type、[Agent] Binary Label、[Agent] Rationale、[Agent] Evidence、および[Agent] Evaluator Modelがあります。

イベントとそのプロパティの完全なリストについては、Agentアナリティクスのイベントタクソノミーを参照してください。

これらの結果はクエリ可能なAmplitudeイベントとして表示されるため、単一のフィルターを使用して「セッションがタスクの完了に失敗したユーザー」などのコホートを作成できます。 データ品質信号はLLMベースではなくコードベース（ルールとパターンのマッチング）であるため、この信号は、生成された根拠ではなく、明確な「問題が見つかりませんでした」という結果を返します。

カスタム評価者の作成と改善

シグナルは自動的に実行されます。製品固有の基準を測定するには、_[評価者]_ページで独自の評価者を作成します。このページはAgentアナリティクスの左側ナビゲーションから開きます。名前、審査員プロンプト、合格基準を使用して評価者を定義し、有効にする前にテストしてください。

1. 審査員のプロンプトと合格基準を含む評価者を作成します。
2. 「Runs」ページでサンプルセッションまたは保存済みデータセットに対してこのテストを実行して、スコアを確認してください。
3. 結果を確認し、審査員の指示を修正するか、評価者を起動してください。

評価者は、バイナリ(真/偽)、分類、およびスコアの出力タイプをサポートしています。評価者をアクティブにすると、新しいセッションのスコアリングを開始できます。 結果は[Agent] Evaluator Resultイベントとして表示され、信号データと一緒にクエリを実行できます。

デフォルトでは、評価者はAmplitude管理モデル上で実行されます。 代わりに独自のLLMプロバイダーでそれらを実行するには、_AIコントロール_でプロバイダーキーを追加してください。

人間のレビューアは評価者の正確性を向上させます。 レビュー担当者はセッションにラベルを付け、レビュータブで評価者の出力を修正します。レビューされたラベルは、グラウンドトゥルースのデータセットを構築します。そのデータセットに対して評価ツールを再実行し、改訂されたプロンプトのスコアを既知の正常な回答と比較します。

評価ツールを実行する

「実行」ページでは、オンデマンドで一連のセッションに対して評価者を実行します。[実行(Runs)] ページを使用して、評価者をアクティブにする前に評価者をテストしたり、評価者より前のセッションをスコアリングしたりできます。 エージェント アナリティクスの左側ナビゲーションから_Runs_を開きます。

実行を開始するには、実行の作成を選択し、1つ以上の評価者を選択し、スコアリングするセッションを選択します。最近のセッションのサンプル、フィルタリングされたセット、または保存されたデータセット(_データセット_ページでキュレーションした再利用可能なセッションのセット)から選択できます。

実行が進行中である間、実行ドローアにライブのX / N sessions進行状況バーと失敗の数が表示されます。 各セッションが終了すると結果がストリーミングされるため、バッチ全体を待つことなく早期の結果を読み取ることができます。 Agent アナリティクス は、失敗したセッションやタイムアウトしたセッションを分離し、評価者ごとのエラーを検出し、残りの実行を完了します。実行を早期に停止するには、［キャンセル］を選択します。

実行中の各セッションについて、結果には各評価者の結果（合格または不合格、クラス、スコア）、実行した審査員のプロンプト、根拠、および評価の遅延が表示されます。 これらの結果を使用してジャッジ・プロンプトを改良し、出力が期待通りになるまで再実行してください。

各アクションには特定の権限が必要です。

データセットのキュレーション

_データセット_とは、再利用可能な名前付きエージェントセッションのコレクションであり、評価者を繰り返し実行できます。データセットは、ワンオフのスポットチェックを回帰スイートに変換します。 セッションのセットを修正して正しい答えを確立した後、評価者のプロンプトを変更するたびに、それらのセッションに対して評価者を再実行します。 Agent アナリティクスの左側ナビゲーションから Datasets を開きます。

1つのモデル、1つのプロダクト表面、またはフィルタリングされたユーザーセットからのセッションなど、追跡したいエージェントのアクティビティのあらゆる部分を中心にデータセットを構築できます。まずは、一般的なケースと既知の障害モードを網羅する代表的なセッションをいくつか用意することから始めましょう。

データセットにセッションを追加するには、次の2つの方法があります。

• セッションから：セッションを開き、[データセットに追加] コントロールを使用します。Amplitudeは、セッションのエージェントと一致するデータセットをリストアップします。
• 一括処理: [セッション] ページでセッションを選択し、それらを一度に追加します。 データセットには最大1,000件のセッションを保持できるため、最初に必要なセッションをフィルタリングしてください。

データセットを開いてセッションを表示したり、評価結果をインラインで含めた任意のセッションのスレッドを読み取ったり、セッションを削除したり、データセットを JSON 形式でダウンロードしたりできます。

グラウンドトゥルースを確立する

データセットの価値は、そのグラウンドトゥルース、つまり各セッションで検証された正しい答えから生じます。セッションを追加すると、Amplitudeはセッションの現在の評価結果をベースラインとしてスナップショットを作成するため、間違った結果のみをレビューして修正できます。

セッションをレビューするには、データセットからセッションを開き、間違っている評価結果を変更するか、正しいとマークを選択して、同意する結果を確定します。各セッションは、評価者を確認するにつれて_保留中_から_部分的_、そして_検証済み_へと移行します。レビューはセッションに添付されるため、セッションは表示されるすべての場所でそのラベルを保持し、評価者のプロンプトを編集しても修正内容は残ります。

グラウンドトゥルースが確立されたら、[Runs] ページのデータセットに対して評価器を実行し、評価器の出力と検証済みの回答を比較します。出力を検証済みの回答と比較することで、プロンプトの変更によって評価器が改善されたことを、それを有効にする前に確認できます。

エージェントの品質をプロダクトの動作に結びつける

Agent アナリティクスはコホートを通じて Amplitude の他の機能と接続します。コホート連携は、スタンドアロンのエージェント・オブザーバビリティ・ツールに対する主要な差別化要因です。

1. Agentアナリティクスで一連のセッションをフィルタリングします。
2. その選択からコホートを作成します。
3. このコホートは、ファネル、リテンション、セグメンテーションなどの標準的なAmplitudeチャートで使用できます。

たとえば、セッションがタスクの完了に失敗したユーザーのコホートを作成し、セッションが成功したユーザーのコホートと比較して、そのユーザーの30日間のリテンションをグラフ化します。 この比較により、エージェントの品質がコンバージョン率、リテンション率、解約率などの結果と関連しているかどうかがわかります。

ツールからエージェントアナリティクスをクエリする

Amplitude MCPサーバーは、ClaudeやCursorなどのAIツールにAgentアナリティクスを公開します。MCPサーバーを使用して、メトリック、セッション、スパン、および会話のクエリを実行したり、スキーマを検査したり、データセットを管理したり、評価者の作成、更新、およびリストを作成したりできます。

現在のツール一覧、セットアップ、認証の詳細については、Amplitude MCP にアクセスしてください。