LoginSign Up

Análise de agente

Qual é o impacto real do seu agente de IA?

Saber que o seu agente deu uma boa resposta é a parte fácil. A Análise de agente vincula rastreios e avaliações à conversão, retenção e receita, para que possa associar a qualidade do agente ao impacto real no negócio.

Registe-se para obter acesso antecipado
Amplitude Agent Analytics session view
Two Mira assistant chats comparing on-budget and over-budget hotel recommendations

Quando as análises tradicionais ficam aquém

A maioria das ferramentas de análise foram criadas para cliques e visualizações das páginas, não para raciocínio e chamadas de ferramentas. Os agentes podem ter alucinações, ignorar instruções e desviar-se do caminho com confiança. Todos os utilizadores que passam tempo com o seu agente parecem igualmente envolvidos. Quem realmente o considerou útil e voltou?

Vá além da observabilidade

Conheça o impacto dos seus agentes no produto e na receita.

Qualidade de IA

O que o agente fez

Resultados de produtos

O que o utilizador fez a seguir

01 Observe

Inspecione rastreios, perguntas, chamadas de ferramentas, respostas, latência e custo. O registo bruto do que o agente realmente fez.

02 Avalie

Classifique a qualidade, a intenção, a resolução e os modos de falha. Veja onde o agente ajuda, onde fica confuso e onde adiciona risco.

03 Decida

Vincule esses sinais de qualidade à conversão, retenção e receita. O agente realmente fez o utilizador avançar?

04 Implemente

Ajuste as perguntas, execute experiências, acione guias e personalize o próximo passo com base no que aprendeu.

A raw trace of spans next to the same turn decomposed into Amplitude events

As interações dos traces passam automaticamente a ser eventos da Amplitude

Cada mensagem do utilizador, cada chamada de ferramenta e cada resposta do agente torna-se um evento da Amplitude, com o mesmo user_id dos restantes dados do seu produto. Ao contrário das ferramentas de observabilidade que se ficam pelo trace, o Agent Analytics decompõe estas conversas em eventos, tornando-as diretamente consultáveis nos mesmos funis, coortes e análises de retenção que já utiliza.

As perguntas a que pode finalmente responder

01

A atualização do nosso modelo aumentou a conversão de registos esta semana ou prejudicou-a?

02

Qual é o delta de conversão quando o agente responde corretamente em comparação com quando alucina?

03

Que tópicos do agente se correlacionam com a intenção de expansão e quais se correlacionam com o risco de abandono?

O modelo de maturidade da Análise de agente

A maioria das ferramentas de observabilidade ficam pelos níveis mais baixos de maturidade. A Análise de agente leva ao topo, associando a qualidade da IA ao percurso do utilizador e à receita.

L4Atribuição de receitas

Qual é o valor da IA em dólares?

L3Análise de comportamentos

Como afeta a utilização da IA a jornada do utilizador?

L2Inteligência semântica

O que está o agente realmente a fazer?

L1Avaliações e afirmações

O agente fê-lo corretamente?

L0Rastreio e telemetria

Posso ver o que aconteceu?

Dentro do Agent Analytics

As execuções de produção surpreendem as equipas com perguntas para as quais nunca prepararam o modelo. Leia o prompt do utilizador, a resposta do agente, as ferramentas que chamou e o contexto que extraiu e depois aceda diretamente à Gravação de sessões para ver o que correu mal.

chamadas de ferramentasversões de comandosrecuperação de contextoir para a gravação

Aperfeiçoámo-la para nós próprios

Lançámos agentes na Amplitude, deparámo-nos com os mesmos problemas que encontrou e, como resultado disso, criámos o Agent Analytics. Ouça os dados e as histórias da equipa por trás disso.

Porque criámos o Agent Analytics e por que razão todas as equipas de agentes precisam dela
Produto

Porque criámos o Agent Analytics e por que razão todas as equipas de agentes precisam dela

Criámos uma empresa de análise. Depois, criámos um agente e não conseguíamos ver nada. Eis como o corrigimos.

O sinal de avaliação que prevê 3x a retenção de agentes
Insights

O sinal de avaliação que prevê 3x a retenção de agentes

Usámos o Agent Analytics para compreender se os sinais de avaliação realmente preveem se os utilizadores regressam. O resultado surpreendeu-nos.

Fazer sopa de pedra: desenvolvimento orientado por avaliação para análises com IA
Produto

Fazer sopa de pedra: desenvolvimento orientado por avaliação para análises com IA

Como as equipas de desenvolvimento, os clientes e os LLM contribuíram para automatizar os insights na Amplitude.

Ver mais

Instrumente qualquer fornecedor de LLM

Wrappers nativos para os fornecedores que realmente usa. Uma ponte OpenTelemetry para o resto. Captura manual quando quiser controlo total.

your terminal
$
$
Ler documentação

Python e Node, SDK drop-in, ativo em minutos.

Análises de conteúdo opcionais

Criada especificamente para lhe permitir controlar o que sai do seu ambiente.

TierWhat you sendWhat you get
Metadata OnlyTokens, cost, latency, behavioral signalsCost analytics, retention curves, funnel drop-off. No conversation content leaves your environment.
Customer EnrichedYour classification labelsFull topic and quality analytics. You run your own classifiers and send us the structured labels.
FullConversation contentAutomatic topic classification, quality scoring, and behavioral pattern detection.

Envie conversas completas, as suas próprias etiquetas ou apenas metadados. Mude de modo por agente ou por origem de evento.

O Agent Analytics está em versão beta

Deixe de enviar com base em intuições

  • Encontre os modos de falha que realmente lhe custam utilizadores.
  • Avalie a conversão e a retenção por qualidade do agente.
  • Ligue qualquer rastreio a gravações de sessões e experiências.
Registe-se para obter acesso antecipado

Registe-se para obter acesso antecipado

Junte-se à lista de espera

Perguntas frequentes

A camada de análise entre a observabilidade do LLM e a análise de produtos. Cada mensagem do utilizador, chamada da ferramenta, resposta do agente e fim da sessão torna-se um evento da Amplitude marcado com tópico, pontuação de qualidade e padrão comportamental, para que possa criar coortes, funis e curvas de retenção sobre a qualidade da sessão de IA.

As ferramentas de rastreio respondem a "O que fez o agente?" O Agent Analytics responde a "Funcionou para o utilizador?" Pode manter a sua ferramenta de rastreamento: o AmplitudeGenAIExporter adiciona a Amplitude como um segundo destino OpenTelemetry num registo de processador de intervalo.

Não. O SDK tem três modos de privacidade: metadata_only (apenas tokens, latência, custo e sinais comportamentais), customer_enriched (as suas próprias etiquetas, sem texto bruto) e full (enriquecimento gerido). A maioria das equipas começam com apenas metadados e sobrem de patamar à medida que a confiança aumenta.

Python no PyPI (pip install amplitude-ai) e Node.js / TypeScript no npm (npm install @amplitude/ai). Wrappers nativos para OpenAI, Anthropic, Gemini, Bedrock, Mistral e Azure OpenAI. Integrações de estrutura para LangChain, LlamaIndex, OpenAI Agents SDK, CrewAI e Claude Agent SDK. Tudo o que emita spans OpenTelemetry GenAI (OpenLIT, Traceloop e instrumentação OpenAI) flui através da ponte.

Cada evento de agente tem uma ID de gravação de sessão. A partir de qualquer sessão no explorador, a opção Ver gravação abre no momento em que a conversa começou, para que veja o agente falhar dentro do produto real que o utilizador estava a usar.

Cada evento contém a variante de experiência como uma propriedade, pelo que os testes A/B de prompt atribuem corretamente em conversas de várias interações. As pontuações de qualidade e os padrões comportamentais fluem para coortes que o Guides e o Activation visam em tempo real. O mesmo espaço de trabalho, o mesmo grafo de identidade.

Uma nova era de análise

Desde uma visão geral do agente em tempo real a avaliações e conjuntos de dados, cada visualização associa o que o agente fez ao que o utilizador fez a seguir.