에이전트 분석 택소노미

조기 액세스

이 기능은 Early Access 버전입니다. 다음 기간동안 기능의 일부 측면은 여전히 개발 중일 수 있으며 이 문서가 항상 최신 상태인 것은 아닐 수도 있습니다. 질문이 있으시면 다음으로 문의하십시오: Amplitude Support.

이 페이지는 [Agent]에이전트 분석에서 생성하는 데이터에 대한 참조입니다. 여기에는 모든 이벤트, 보강 이벤트의 속성 및 기본 신호가 포함됩니다. UI에서 이러한 결과를 읽으려면 에이전트 결과 분석으로 이동하십시오. 코드에서 이벤트를 발생시키려면 Agent Analytics SDK로 이동하십시오.

택소노미는 구성이 가능하며 오픈 베타 기간 동안 계속 발전하고 있습니다. 아래 목록을 기본 구조로 간주하고, 실제 이벤트 스트림과 대조하여 라이브 세트를 확인하십시오.

데이터 계층 구조

에이전트 분석은 각 에이전트 상호 작용을 계층 구조로 모델링합니다.

세션: 사용자가 처음부터 끝까지 에이전트에게 전달하는 하나의 작업입니다. Amplitude는 [Agent] Session ID속성으로 세션을 식별합니다. 에이전트 세션은 Amplitude의 표준 분석 세션($session_id)과 다릅니다. 이 세션은 사용자의 앱 또는 웹 방문입니다.
Turn: 사용자 메시지, 에이전트의 도구 호출 및 AI 응답과 같은 세션 내의 단일 왕복 교환.
스팬: 도구 호출, 벡터 검색, 순위 재정리, 가드레일과 같은 하위 회전 단계입니다.

모든 사용자 메시지, AI 응답 및 도구 호출은 독립적인 Amplitude 이벤트로 전송되므로 먼저 추적을 분해하지 않고도 퍼널, 코호트 및 리텐션 차트에서 에이전트 데이터를 사용할 수 있습니다.

이벤트 인벤토리

Agent 분석은 이러한 이벤트를 생성합니다. SDK 계측은 직접 SDK 호출을 통해 또는 enable_otel()/enableOtel()가 활성화될 때 OTEL 스팬을 통해 처음 7개를 생성합니다(SDK는 스팬을 이벤트에 자동으로 매핑합니다). 서버 보강 파이프라인은 세션을 닫은 후 나머지를 생성합니다.

이벤트	프로듀서	SDK 메서드
`[Agent] User Message`	SDK	`track_user_message()`
`[Agent] AI Response`	SDK	`track_ai_message()`
`[Agent] Tool Call`	SDK	`track_tool_call()`
`[Agent] Embedding`	SDK	`track_embedding()`
`[Agent] Span`	SDK	`track_span()`
`[Agent] Session End`	SDK	`track_session_end()`
`[Agent] Session Enrichment`	SDK	`track_session_enrichment()`
`[Agent] Session Record`	서버 강화 파이프라인	내부
`[Agent] Evaluator Result`	서버 강화 파이프라인	내부
`[Agent] Score`	피드백을 위한 SDK 또는 서버	`score()`

SDK 이벤트

사용자의 계측은 에이전트가 실행될 때 이러한 이벤트를 생성합니다. [Agent] AI Response이벤트는 응답별 모델, 공급자, 토큰, 지연 시간 및 비용 속성을 전달합니다.

[Agent] User Message: 사용자가 에이전트에게 전송하는 메시지입니다.
[Agent] AI Response: 모델, 공급자, 토큰, 지연 시간 및 비용을 포함한 에이전트의 응답입니다.
[Agent] Tool Call: 에이전트가 호출하는 함수 또는 도구입니다.
[Agent] Embedding: 임베딩 또는 벡터 검색 단계입니다.
[Agent] Span: 순위 변경이나 가드레일과 같은 순서 무관 파이프라인 단계입니다.
[Agent] Session End: 세션의 끝을 표시합니다.
[Agent] Session Enrichment: 개인 정보 보호 모드에서 전송된 사용자 고유의 세션 레이블입니다customer_enriched.

[Agent]를 제외한 모든 SDK 이벤트 속성에는 접두사가 붙습니다[Amplitude] Session Replay ID. 아래 표에는 SDK가 전송하는 속성이 이벤트별로 그룹화되어 나와 있습니다. 선택적 속성은 관련 데이터를 사용할 수 있고 개인 정보 보호 모드에서 이를 허용할 때 채워집니다.

공통 속성

이러한 속성은 전체 SDK 이벤트에 나타날 수 있습니다.

속성	유형	필수	설명
`[Agent] Session ID`	문자열	예	세션 식별자입니다. 한 에이전트 세션의 모든 이벤트는 이를 공유합니다.
`[Agent] Component Type`	문자열	예	이벤트를 생성한 구성 요소: `user_input`, llm``tool, 또는 `embedding`.
`[Agent] SDK Version`	문자열	예	이벤트를 생성한 SDK의 버전입니다.
`[Agent] Runtime`	문자열	예	SDK 런타임: `node` 또는 `python`.
`[Agent] Trace ID`	문자열	아니요	추적 뷰어에서 이벤트를 한 턴으로 그룹화합니다. 해당 ID가 없는 이벤트는 세션 ID로 대체됩니다.
`[Agent] Turn ID`	숫자	아니요	세션 첫 사용 후 이벤트를 정렬하는 단조롭게 증가하는 카운터입니다.
`[Agent] Agent ID`	문자열	아니요	상호 작용을 처리한 에이전트는 무엇입니까(예: `support-bot`).
`[Agent] Parent Agent ID`	문자열	아니요	다중 에이전트 위임의 경우, 이 에이전트에게 위임한 에이전트입니다.
`[Agent] Customer Org ID`	문자열	아니요	멀티 테넌트 플랫폼의 테넌트 조직 ID입니다. 계정 수준의 그룹 분석을 활성화합니다.
`[Agent] Agent Version`	문자열	아니요	에이전트 코드 버전입니다. 버전 간 품질 비교를 활성화합니다.
`[Agent] Agent Description`	문자열	아니요	에이전트의 목적에 대한 사람이 읽을 수 있는 설명입니다.
`[Agent] Context`	문자열	아니요	세그멘테이션 차원의 직렬화된 JSON입니다. 컨텍스트를 사용하여 세그멘테이션 추가를 참조하십시오.
`[Agent] Env`	문자열	아니요	배포 환경: `production`, `staging`또는 `dev`.
`[Agent] Message Source`	문자열	아니요	`user` 최종 사용자 입력 또는 `agent`에이전트 간 위임을 위해 사용됩니다. 공급자 래퍼는 이를 자동으로 설정합니다.
`[Agent] Locale`	문자열	아니요	사용자 로케일(예: `en-US`).
`[Amplitude] Session Replay ID`	문자열	아니요	세션 리플레이에 대한 링크`device_id/session_id`양식.

배포 및 OTEL 메타데이터

이러한 선택적 속성은 구성될 때 모든 SDK 이벤트에 나타날 수 있습니다.

속성	유형	설명
`[Agent] Git SHA`	문자열	배포된 빌드의 커밋 SHA. 에이전트 동작을 특정 배포와 연관시키는 데 사용됩니다.
`[Agent] Git Ref`	문자열	브랜치 또는 태그 이름(예: `main`또는 `v2.1.0`).
`[Agent] Git Repo`	문자열	저장소 식별자(예: `org/repo`).
`[Agent] Tags`	문자열[]	임시 그룹화를 위한 사용자 정의 문자열 태그(예: `["beta", "internal"]`).
`[Agent] Span Kind`	문자열	OTEL이 활성화된 경우 OTEL 스팬 라우팅 힌트. 범위를 이벤트 유형(`tool`, `llm`, `agent`, `span`)에 매핑합니다.

`[Agent] User Message` 속성

공통 속성 외에도.

속성	유형	필수	설명
`[Agent] Message ID`	문자열	예	이 메시지의 고유 ID입니다. 점수 및 도구 호출을 메시지에 다시 연결합니다.
`[Agent] Is Regeneration`	부울	아니요	사용자가 AI에 이전 응답을 재생성하도록 요청했는지 여부. 부정적인 품질 신호입니다.
`[Agent] Is Edit`	부울	아니요	사용자가 이전 메시지를 편집하고 다시 제출했는지 여부입니다.
`[Agent] Edited Message ID`	문자열	아니요	편집된 원본 메시지의 `Message ID`.
`[Agent] Has Attachments`	부울	아니요	메시지에 첨부 파일이 포함되어 있는지 여부입니다.
`[Agent] Attachment Types`	문자열[]	아니요	별도의 첨부 파일 유형(예: `pdf`, `image`).
`[Agent] Attachment Count`	숫자	아니요	메시지에 포함된 첨부 파일의 수입니다.
`[Agent] Total Attachment Size Bytes`	숫자	아니요	모든 첨부 파일의 총 크기(바이트 단위)입니다.
`[Agent] Attachments`	문자열	아니요	첨부 파일 메타데이터의 직렬화된 JSON(유형, 이름, 크기). 메타데이터만 해당하며 파일 콘텐츠는 포함되지 않습니다.
`[Agent] Message Labels`	문자열	아니요	레이블 객체의 직렬화된 JSON입니다. 라우팅 태그, 분류자 출력 또는 비즈니스 컨텍스트에 사용됩니다.
`[Agent] Message Source`	문자열	아니요	`user` 실제 최종 사용자 입력 또는 하위 에이전트에 대한 부모 `agent`에이전트의 지침용.

`[Agent] AI Response` 속성

공통 속성 외에도.

속성	유형	필수	설명
`[Agent] Message ID`	문자열	예	이 응답에 대한 고유 ID입니다.
`[Agent] Model Name`	문자열	예	모델 식별자(예: `gpt-4o`, `claude-sonnet-4-20250514`).
`[Agent] Provider`	문자열	예	공급자 이름(예: `openai`, `anthropic`, `google`, `mistral`, `bedrock`).
`[Agent] Latency Ms`	숫자	예	통화에 대한 총 실제 경과 지연 시간(밀리초)입니다.
`[Agent] Is Error`	부울	예	응답이 오류를 나타내는지 여부입니다.
`[Agent] Error Message`	문자열	아니요	`Is Error`가 true 인 경우 오류 텍스트입니다.
`[Agent] Error Type`	문자열	아니요	`Is Error`가 true인 경우의 예외 클래스 이름입니다. 툴링이 실패를 유형별로 그룹화할 수 있도록 합니다.
`[Agent] TTFB Ms`	숫자	아니요	첫 번째 토큰을 생성하는 데 걸리는 시간(밀리초)입니다. 스트리밍에 대한 인지된 응답성을 측정합니다.
`[Agent] Input Tokens`	숫자	아니요	프롬프트 토큰이 소비되었습니다. 캐시 포함(비용 및 토큰 관리 참조).
`[Agent] Output Tokens`	숫자	아니요	완료 토큰이 생성되었습니다.
`[Agent] Total Tokens`	숫자	아니요	입력 토큰과 출력 토큰입니다.
`[Agent] Reasoning Tokens`	숫자	아니요	추론이나 사고에 소비된 토큰(o1, o3, 확장된 사고 모델).
`[Agent] Cache Read Tokens`	숫자	아니요	공급자의 프롬프트 캐시에서 저렴한 가격으로 제공되는 입력 토큰입니다.
`[Agent] Cache Creation Tokens`	숫자	아니요	새 프롬프트 캐시 항목을 생성한 입력 토큰입니다.
`[Agent] Cost USD`	숫자	아니요	예상 비용은 USD로 표시됩니다. 캐시 토큰 수가 제공될 때 캐시를 인식합니다.
`[Agent] Finish Reason`	문자열	아니요	모델이 중지된 이유: `stop`, end_turn``tool_use, length``content_filter, , 등입니다.
`[Agent] Is Streaming`	부울	아니요	응답이 스트리밍되었는지 여부.
`[Agent] Model Tier`	문자열	아니요	자동 추정된 계층: `fast`, `standard`또는 `reasoning`.
`[Agent] Was Cached`	부울	아니요	응답이 의미 기반 캐시에서 제공되었는지, 아니면 전체 응답 캐시에서 제공되었는지 여부입니다.
`[Agent] Was Copied`	부울	아니요	사용자가 응답을 복사했는지 여부입니다. 암시적인 긍정적 품질 신호입니다.
`[Agent] Has Reasoning`	부울	아니요	응답에 추론 콘텐츠가 포함되어 있는지 여부입니다.
`[Agent] Reasoning Content`	문자열	아니요	사용 가능하며, 개인정보 보호 모드에서 허용되는 경우의 추론 콘텐츠입니다.
`[Agent] System Prompt`	문자열	아니요	개인정보 보호 모드가 허용될 때 사용되는 시스템 프롬프트입니다.
`[Agent] System Prompt Length`	숫자	아니요	시스템 프롬프트의 문자 길이입니다.
`[Agent] Tool Calls`	문자열	아니요	이 응답에서 AI가 생성한 도구 호출의 직렬화된 JSON입니다.
`[Agent] Tool Definitions`	문자열	아니요	개인정보 보호 모드가 허용될 때 LLM으로 전송된 도구 정의의 정규화된 JSON입니다.
`[Agent] Tool Definitions Count`	숫자	아니요	요청에 포함된 도구 정의 수입니다.
`[Agent] Tool Definitions Hash`	문자열	아니요	도구 정의의 안정적인 해시. 항상 존재합니다. 스키마를 노출하지 않고 도구 세트 변경 사항을 감지할 수 있습니다.
`[Agent] Temperature`	숫자	아니요	호출에 사용된 온도 매개변수입니다.
`[Agent] Max Output Tokens`	숫자	아니요	호출에 대해 구성된 최대 출력 토큰입니다.
`[Agent] Top P`	숫자	아니요	호출에 사용되는 Top-p(핵 샘플링) 매개변수입니다.
`[Agent] Prompt ID`	문자열	아니요	사용된 프롬프트 템플릿 또는 버전의 식별자입니다.
`[Agent] Message Labels`	문자열	아니요	응답에 첨부된 레이블 객체의 직렬화된 JSON입니다.

`[Agent] Tool Call` 속성

공통 속성 외에도.

속성	유형	필수	설명
`[Agent] Invocation ID`	문자열	예	이 도구 호출에 대한 고유 ID입니다. 도구 호출을 상위 메시지에 연결합니다.
`[Agent] Tool Name`	문자열	예	호출된 도구의 이름(예: `search_docs`).
`[Agent] Tool Success`	부울	예	도구 호출이 성공적으로 완료되었는지 여부입니다.
`[Agent] Latency Ms`	숫자	예	통화에 대한 총 실제 경과 지연 시간(밀리초)입니다.
`[Agent] Is Error`	부울	예	호출이 오류를 나타내는지 여부입니다.
`[Agent] Tool Type`	문자열	아니요	도구의 출처: `python` (기본 프로세스 내), `mcp` (연결된 MCP 서버에서 제공), `flow` (하위 에이전트 위임) 또는 `unknown`.
`[Agent] Tool Owner`	문자열	아니요	도구의 소유자: `amplitude` (Amplitude가 제작 또는 운영하는) 또는 `customer` (고객이 연결한 서버).
`[Agent] Tool Input`	문자열	아니요	도구의 입력 인수의 직렬화된 JSON입니다. `full`개인 정보 보호 모드에서만 전송됩니다.
`[Agent] Tool Output`	문자열	아니요	도구의 반환 값에 대한 직렬화된 JSON입니다. `full`개인 정보 보호 모드에서만 전송됩니다.
`[Agent] Parent Message ID`	문자열	아니요	도구 호출을 트리거한 사용자 메시지의 `Message ID`입니다.

`[Agent] Embedding` 속성

공통 속성 외에도.

속성	유형	필수	설명
`[Agent] Span ID`	문자열	예	포함 작업에 대한 고유 ID입니다.
`[Agent] Model Name`	문자열	예	임베딩 모델 식별자입니다.
`[Agent] Provider`	문자열	예	공급자 이름입니다.
`[Agent] Latency Ms`	숫자	예	작업에 대한 실제 경과 지연 시간(밀리초)입니다.
`[Agent] Input Tokens`	숫자	아니요	임베딩 모델에서 처리한 입력 토큰입니다.
`[Agent] Embedding Dimensions`	숫자	아니요	출력 벡터의 차원입니다.
`[Agent] Cost USD`	숫자	아니요	예상 비용은 USD로 표시됩니다. 입력 토큰으로부터 자동으로 계산되며, 재정의할 값을 전달합니다.

`[Agent] Span` 속성

공통 속성 외에도.

속성	유형	필수	설명
`[Agent] Span ID`	문자열	예	범위에 대한 고유 ID입니다.
`[Agent] Span Name`	문자열	예	작업의 이름(예: `rag_pipeline`, `vector_search`).
`[Agent] Latency Ms`	숫자	예	범위의 실제 경과 지연 시간(밀리초)입니다.
`[Agent] Is Error`	부울	예	범위가 오류를 나타내는지 여부입니다.
`[Agent] Parent Span ID`	문자열	아니요	중첩된 파이프라인 단계에 대한 상위 범위의 범위 ID입니다.
`[Agent] Input State`	문자열	아니요	범위의 입력 상태에 대한 직렬화된 JSON입니다. `full`개인 정보 보호 모드에서만 전송됩니다.
`[Agent] Output State`	문자열	아니요	범위의 출력 상태에 대한 직렬화된 JSON입니다. `full`개인 정보 보호 모드에서만 전송됩니다.

`[Agent] Session End` 속성

공통 속성에 더해집니다.

속성	유형	설명
`[Agent] Abandonment Turn`	숫자	사용자가 떠나기 전에 응답을 받은 마지막 사용자 메시지의 턴 ID입니다. 낮은 값은 조기 이탈을 나타냅니다.
`[Agent] Session Idle Timeout Minutes`	숫자	세션의 유휴 시간 초과입니다. 세션을 자동으로 닫기 전에 얼마나 기다려야 하는지를 서버에 알려줍니다.
`[Agent] Enrichments`	문자열	세션 종료 시 제공된 전체 보강 기능의 직렬화된 JSON입니다.

`[Agent] Session Enrichment` 속성

customer_enriched개인정보 보호 모드로 전송되었습니다. 공통 속성에 더해집니다.

속성	유형	필수	설명
`[Agent] Enrichments`	문자열	예	세션 보강물의 직렬화된 JSON: 결과, 품질 및 감정 점수, 플래그, 메시지 라벨.

`[Agent] Score` 속성

[Agent] Score 명시적인 사용자 피드백을 전달합니다. 공통 속성에 더해집니다.

속성	유형	필수	설명
`[Agent] Score Name`	문자열	예	점수의 이름(예: `user-feedback`).
`[Agent] Score Value`	숫자	예	숫자 값: 이진수(0/1), 연속(0.0–1.0) 또는 등급 척도입니다.
`[Agent] Target ID`	문자열	예	`Message ID`또는 `Session ID`점수를 받는 것입니다.
`[Agent] Target Type`	문자열	예	점수가 매겨지는 항목: `message` 또는 `session`.
`[Agent] Evaluation Source`	문자열	예	점수의 소스입니다. SDK 피드백의 경우 이는 `user`또는 `reviewer`입니다.
`[Agent] Comment`	문자열	아니요	선택적 텍스트 설명입니다. 개인정보 보호 모드를 존중합니다.

이벤트 JSON 예제

이 예제에서는 SDK가 Amplitude에 전송하는 내용을 보여줍니다. 속성 이름과 $llm_message콘텐츠 모양은 SDK를 사용하든 이벤트를 직접 전송하든 관계없이 동일합니다.

json

{
  "event_type": "[Agent] AI Response",
  "user_id": "user-42",
  "event_properties": {
    "[Agent] Session ID": "sess-abc123",
    "[Agent] Trace ID": "trace-def456",
    "[Agent] Turn ID": 2,
    "[Agent] Message ID": "msg-789xyz",
    "[Agent] Model Name": "gpt-4o",
    "[Agent] Provider": "openai",
    "[Agent] Model Tier": "standard",
    "[Agent] Latency Ms": 1203,
    "[Agent] Input Tokens": 150,
    "[Agent] Output Tokens": 847,
    "[Agent] Total Tokens": 997,
    "[Agent] Cost USD": 0.0042,
    "[Agent] Is Error": false,
    "[Agent] Finish Reason": "stop",
    "[Agent] Component Type": "llm",
    "[Agent] Agent ID": "support-bot",
    "[Agent] Env": "production",
    "[Agent] SDK Version": "1.0.0",
    "[Agent] Runtime": "node"
  }
}

json

{
  "event_type": "[Agent] User Message",
  "user_id": "user-42",
  "event_properties": {
    "[Agent] Session ID": "sess-abc123",
    "[Agent] Turn ID": 1,
    "[Agent] Message ID": "msg-123abc",
    "[Agent] Component Type": "user_input",
    "[Agent] Agent ID": "support-bot",
    "[Agent] SDK Version": "1.0.0",
    "[Agent] Runtime": "node",
    "$llm_message": { "text": "How do I reset my password?" }
  }
}

json

{
  "event_type": "[Agent] Tool Call",
  "user_id": "user-42",
  "event_properties": {
    "[Agent] Session ID": "sess-abc123",
    "[Agent] Turn ID": 3,
    "[Agent] Invocation ID": "inv-456def",
    "[Agent] Tool Name": "search_knowledge_base",
    "[Agent] Tool Success": true,
    "[Agent] Is Error": false,
    "[Agent] Latency Ms": 340,
    "[Agent] Component Type": "tool",
    "[Agent] Agent ID": "support-bot",
    "[Agent] SDK Version": "1.0.0",
    "[Agent] Runtime": "node"
  }
}

json

{
  "event_type": "[Agent] Score",
  "user_id": "user-42",
  "event_properties": {
    "[Agent] Score Name": "thumbs-up",
    "[Agent] Score Value": 1,
    "[Agent] Target ID": "msg-789xyz",
    "[Agent] Target Type": "message",
    "[Agent] Evaluation Source": "user",
    "[Agent] Session ID": "sess-abc123",
    "[Agent] Agent ID": "support-bot",
    "[Agent] SDK Version": "1.0.0",
    "[Agent] Runtime": "node"
  }
}

서버 보강 이벤트

세션이 종료되면, 보강 파이프라인이 평가하고 두 개의 이벤트를 이벤트 스트림에 다시 기록합니다.

세션 기록

[Agent] Session Record 세션당 한 번씩 기록됩니다. 세션 롤업, 상시 연결 신호 결과 및 품질 플래그를 전달합니다.

속성	유형	설명
`[Agent] Turn Count`	숫자	세션의 턴의 횟수입니다.
`[Agent] Session Total Tokens`	숫자	모든 턴에 걸친 총 LLM 토큰.
`[Agent] Session Avg Latency Ms`	숫자	세션 전체의 평균 AI 응답 지연 시간(밀리초)입니다.
`[Agent] Models Used`	문자열[]	세션에서 사용된 LLM 모델입니다.
`[Agent] Has Negative Feedback`	부울	사용자가 세션 다음 기간동안 불만을 표현했는지 여부.
`[Agent] Has Technical Failure`	부울	도구 시간 초과나 API 오류와 같은 기술적 오류가 발생했는지 여부입니다.
`[Agent] Technical Error Count`	숫자	세션의 기술적 오류 수행 회수가.
`[Agent] Has Data Quality Issues`	부울	AI 출력물에 잘못된 데이터나 환각과 같은 데이터 품질 문제가 있었는지 여부입니다.
`[Agent] Root Agent Name`	문자열	다중 에이전트 흐름의 엔트리 포인트 에이전트입니다.
`[Agent] Agent Chain Depth`	숫자	위임 체인의 에이전트 수입니다.

평가자 결과

[Agent] Evaluator Result 평가자마다 세션당 한 번씩 기록됩니다. 이는 모든 서버측 평가(신호 감지기, 주제 분류기, 루브릭 점수기)에 대한 통합 이벤트입니다.

속성	유형	설명
`[Agent] Evaluator Name`	문자열	이 결과를 생성한 평가자입니다. 주제 분류의 경우, `product_area` 이름입니다.
`[Agent] Evaluator Output Type`	문자열	결과 모양은 `binary`, `classification`, 또는 `score`입니다.
`[Agent] Binary Label`	부울	이진 평가자의 경우 조건이 감지되었는지 여부입니다.
`[Agent] Primary Label`	문자열	분류 평가자의 경우, 지정된 기본 레이블입니다.
`[Agent] Selection Mode`	문자열	주제 모델이 `single`레이블(MECE)을 지정할지 또는 `multiple`을 지정할지 여부.
`[Agent] Rationale`	문자열	결과에 대한 모델의 설명입니다.
`[Agent] Evidence`	문자열	모델이 인용한 뒷받침 증거.
`[Agent] Evaluator Model`	문자열	평가를 실행한 LLM입니다.
`[Agent] Evaluation Source`	문자열	평가 출처: `ai`, `user`, 또는 `reviewer`.
`[Agent] Evaluator Version`	문자열	이 결과를 생성한 평가기 구성 버전입니다.
`[Agent] Evaluated At`	숫자	결과가 계산된 시점의 에포크 밀리초입니다.

사용자 피드백 점수

[Agent] Score 는 응답에 대해 좋아요와 싫어요 같은 명시적인 사용자 피드백을 기록합니다. 점수는 보강 파이프라인이 아닌 SDK의 score() 방법을 통해 애플리케이션에서 얻습니다. 점수를 보내려면 사용자 피드백(점수) 보내기로 이동하십시오.

신호

신호는 Amplitude가 닫힌 모든 세션에서 기본적으로 항상 실행되는 평가기입니다. 이러한 결과는 [Agent] Evaluator Result이벤트로 기록됩니다. 사용자가 이를 구성하지 않으며, Amplitude는 시간별로 이를 정제하므로 이를 방향성으로 간주합니다.

신호	출력	측정 대상
작업 완료	바이너리	에이전트가 사용자의 작업을 완료했는지 여부입니다.
응답 품질	점수(0.0~1.0)	응답이 정확하고 형식이 잘 정리되어 있는지 여부.
사용자 마찰	바이너리	사용자가 불만을 표현했는지 여부.
사용자 의도	분류	세션에 대한 사용자의 의도입니다.
세션 안전	분류	세션을 `Normal`, `Off Topic`, `Prompt Injection`, Abuse``Probing, `Unsafe Output`, 또는 `Data Leak`로 분류합니다.
데이터 품질	코드 기반 검사	잘못된 데이터나 환각 패턴에 플래그를 지정합니다. 생성된 근거가 아닌 명확한 결과를 반환합니다.

주제 및 사용자 지정 평가자

기본 신호 외에도 사용자 고유의 주제 모델과 평가자를 정의할 수 있습니다. 보강 택소노미는 완전히 구성이 가능합니다. query_intent및 product_area와 같은 주제 모델 이름과 task_completion와 같은 평가자 이름은 구성에서 가져오며 프로젝트마다 다릅니다. 고유한 평가자를 생성하고 구체화하려면 사용자 정의 평가자 생성 및 구체화로 이동하십시오.

사용되지 않는 이벤트

[Agent] Topic Classification는 사용되지 않습니다. 주제 분류는 이제 출력 유형이 classification인 이벤트로 표시됩니다. [Agent] Evaluator Result루브릭 점수도 출력 유형이[Agent] Score ${ DNT_2 }인 상태로score ${ DNT_0 }에서 [Agent] Evaluator Result${ DNT_1 }(으)로 이동했습니다. [Agent] Score이제 ${ DNT_0 }에는 사용자 피드백만 포함됩니다.

이 내용이 도움이 되었나요?

에이전트 분석 택소노미

데이터 계층 구조

이벤트 인벤토리

SDK 이벤트

공통 속성

배포 및 OTEL 메타데이터

[Agent] User Message 속성

[Agent] AI Response 속성

[Agent] Tool Call 속성

[Agent] Embedding 속성

[Agent] Span 속성

[Agent] Session End 속성

[Agent] Session Enrichment 속성

[Agent] Score 속성

이벤트 JSON 예제

서버 보강 이벤트

세션 기록

평가자 결과

사용자 피드백 점수

신호

주제 및 사용자 지정 평가자

`[Agent] User Message` 속성

`[Agent] AI Response` 속성

`[Agent] Tool Call` 속성

`[Agent] Embedding` 속성

`[Agent] Span` 속성

`[Agent] Session End` 속성

`[Agent] Session Enrichment` 속성

`[Agent] Score` 속성