Agent Analyticsの概要

ユーザーに提供するAIエージェントを測定し、改善します。Agent Analyticsはエージェントのトレースをイベントに分解し、すべてのインタラクションに対して設定可能な評価ツールを実行し、AIセッションデータを共有ユーザーID上のプロダクトイベントデータへと結びつけます。プロダクトマネージャーは、エージェントの行動をビジネス成果と結びつけます。 エンジニアはプロダクションに到達する前にリグレッションを検出します。

AIセッションデータはAmplitudeのユーザーIDをプロダクトイベントデータと共有するため、エージェントの品質をリテンション、コンバージョン率、収益と関連付けることができます。エージェントの品質には、トピック、ハルシネーション、タスクの完了状況、ツールのエラーなどが含まれます。単純なオブザーバビリティツールではこの関連性は確立できません。また、単純なプロダクト分析ツールではエージェントの品質を十分な厳密さで測定することはできません。

ユースケース

• グロースPMが、サポートエージェントが請求に関する質問に回答しなかったセッションをフィルタリングし、コホートを構築します。PMはリテンションチャートを作成し、そのコホートとセッションが成功したユーザーを比較します。
• MLエンジニアが新しいシステムプロンプトをデプロイし、タスク完了評価ツールが一晩で8ポイント低下するのを確認した後、次のスタンドアップの前にロールバックします。
• 財務責任者がLLMの支出をトピックごとに分析したところ、返品関連のセッションは推奨セッションと比較して3倍のコストがかかる一方で、満足度の点数は低いことがわかりました。
• プラットフォームチームは、毎週手動で行うインタラクションのサンプリングを、各セッションでハルシネーション、ツールエラー、およびタスク完了について採点する自動評価ツールへと置き換えます。
• ベンダー管理チームは、同じ条件で品質を比較するために、社内エージェントに使用しているのと同じ評価ツールを使用してサードパーティAIプロバイダーを評価します。
• 研究チームは、customer_enrichedモードを通じて独自のオフライン評価ツールを組み込み、デフォルトの評価ツールではカバーできなかったカスタムディメンションでセッションを評価します。

Agent Analyticsの仕組み

Agent Analyticsは、各エージェントのやり取りをイベントの階層としてモデル化します。同じユーザーIDがこの階層構造を介して既存のAmplitudeプロダクトデータに流れ込むため、エージェントセッションを追跡している他のすべてのものと合わせて分析できます。

• セッション：ユーザーがエージェントに最初から最後まで完了させるように手渡す作業の1つの単位です。チャットボットとの会話、解決済みのサポートチケット、完了したコーディングタスクなどです。Amplitudeはセッションを[Agent] Session IDプロパティで識別します。このプロパティは、すでに追跡しているIDから設定します。
• ターン：ユーザーメッセージ、エージェントのツール呼び出し、AIの応答など、セッション内での単一のやり取りです。
• スパン：サブターン単位：ツール呼び出し、ベクトル検索、リランク、ガードレール、またはカスタムステップ。
• エージェント：名前付きのオーケストレーションユニットです。 エージェントは子エージェントを持つことができます。

ユーザーメッセージ、AIレスポンス、ツールコールはすべて、独立したAmplitudeイベントとして送信されます。 このターンごとのイベントモデルこそが、トレース中心のオブザーバビリティツールとの構造的な違いです。エージェントイベントは、最初にトレースを分解することなく、ファネル、コホート、リテンションチャート、セッションリプレイリンクで直接使用できます。

この構造に加えて、Amplitudeは以下の3つの方法で品質を測定します。

• シグナル：タスク完了、応答品質、ユーザーフリクション、安全性など、Amplitudeがすべてのセッションに対して実行する常時オンの機能強化です。ユーザーが設定する必要はありません。
• 評価ツール：Amplitude UIで製品に固有の基準に対して定義および調整を行うスコアツール。ルールまたはLLMを判断基準として使用します。customer_enrichedモードを通じて、独自の評価ツールを組み込むこともできます。
• スコア：セッションまたはメッセージに添付されたユーザーからの明示的なフィードバック（高評価または低評価、オプションのコメント）。スコアは、構築したエージェントに対する反応を収集します。これは、Amplitudeの内蔵AIに対する反応を収集するAI Feedbackに類似しています。スコアはアプリから送信されます。Amplitudeはスコアを生成しません。その方法については、ユーザーフィードバック（スコア）を送信するを参照してください。

NodeまたはPython SDKを使用して計測を実装します。セットアップの詳細は、セットアップページに記載されています。

RBACによるアクセス管理

管理者は、ロールベースのアクセス制御（RBAC）を通じて、Agent Analyticsを使用できるユーザーを管理します。Agent Analyticsには次の3つの権限が適用されます。

• Agent Analyticsオブジェクトの表示：セッション、評価ツール、および関連オブジェクトを表示できます。Agent Analyticsを使用するには、このロールの権限が必要になります。
• 非アクティブな評価と実行の管理：下書き評価ツールの作成、更新、削除を行い、ドライランを開始できます。
• 評価を有効化：評価ツールをアクティブな評価ツールとしてマークし、ライブ評価ツールをアーカイブします。

今すぐ始める

• Agent Analyticsの設定では、計測パスの選択、プライバシーモードの設定、およびデータの検証について説明しています。
• エージェントの結果を分析するでは、評価ツール、スコア、およびエージェントデータをプロダクトコホートやチャートに接続する方法について説明しています。