LoginSign Up

Análisis de agentes

¿Cuál es el impacto real de tu agente de IA?

Saber que tu agente dio una buena respuesta es la parte fácil. Análisis de agentes vincula los seguimientos y las evaluaciones con las conversiones, la retención y los ingresos, para que puedas relacionar la calidad del agente con el impacto real en el negocio.

Regístrate para obtener acceso anticipado
Amplitude Agent Analytics session view
Two Mira assistant chats comparing on-budget and over-budget hotel recommendations

Cuando el análisis tradicional se queda corto

La mayoría de las herramientas de análisis se crearon para medir clics y visitas a las páginas, no para el razonamiento y las llamadas a las herramientas. Los agentes pueden alucinar, ignorar las instrucciones y desviarse sin saberlo. Todos los usuarios que pasan tiempo con tu agente parecen igual de interesados. ¿A quién le pareció realmente útil y volvió?

Ve más allá de la observabilidad

Descubre el impacto de tus agentes en el producto y los ingresos.

Calidad de la IA

Qué ha hecho el agente

Resultados de los productos

Qué ha hecho después el usuario

01 Observa

Inspecciona los seguimientos, las indicaciones, las llamadas a herramientas, las respuestas, la latencia y el coste. El registro tal cual de lo que ha hecho realmente el agente.

02 Evalúa

Puntúa la calidad, la intención, la resolución y los modos de fallo. Descubre en qué casos ayuda el agente, en cuáles se confunde y cuándo supone un riesgo.

03 Decide

Vincula esas señales sobre la calidad con las conversiones, la retención y los ingresos. ¿El agente ha conseguido que el usuario avance?

04 Implementa

Ajusta las indicaciones, ejecuta experimentos, activa guías y personaliza el siguiente paso a partir de lo que has aprendido.

A raw trace of spans next to the same turn decomposed into Amplitude events

Los seguimientos se convierten automáticamente en eventos de Amplitude

Cada mensaje de usuario, llamada a una herramienta y respuesta del agente es un evento de Amplitude con el mismo «user_id» que el resto de los datos de tus productos. A diferencia de las herramientas de observabilidad que se detienen en el seguimiento, el Análisis de agentes descompone estas conversaciones en eventos, lo que permite consultarlas directamente en los mismos embudos, cohortes y análisis de retención que ya utilizas.

Las preguntas que por fin puedes responder

01

¿La mejora de nuestro modelo ha aumentado los registros esta semana o los ha reducido?

02

¿Cuál es la diferencia de conversiones cuando el agente responde correctamente en comparación con cuando se equivoca?

03

¿Qué temas del agente se correlacionan con la intención de expansión y cuáles con el riesgo de abandono?

El modelo de madurez de Análisis de agentes

La mayoría de las herramientas de observabilidad se quedan en los niveles más bajos de madurez. Análisis de agentes alcanza los más altos al relacionar la calidad de la IA con el recorrido de los usuarios y los ingresos.

L4Atribución de ingresos

¿Cuánto vale la IA en dinero?

L3Análisis de comportamiento

¿Cómo afecta el uso de la IA al recorrido de los usuarios?

L2Inteligencia semántica

¿Qué está haciendo realmente el agente?

L1Evaluaciones y aseveraciones

¿Lo ha hecho bien el agente?

L0Seguimiento y telemetría

¿Puedo ver qué ha sucedido?

Análisis de agentes internos

Las ejecuciones de producción sorprenden a los equipos con preguntas para las que nunca habían preparado el modelo. Lee la indicación del usuario, la respuesta del agente, las herramientas utilizadas y el contexto que ha extraído, y luego accede directamente a Session Replay para ver qué ha fallado.

llamadas a herramientasversiones de indicacionesrecuperación de contextoir a Replay

Lo perfeccionamos para nosotros mismos

Lanzamos agentes en Amplitude, nos topamos con los mismos problemas que tú y, como resultado, creamos Análisis de agentes. Conoce los datos y las historias del equipo que está detrás.

Por qué creamos «Análisis de agentes» y por qué todos los equipos de agentes lo necesitan
Producto

Por qué creamos «Análisis de agentes» y por qué todos los equipos de agentes lo necesitan

Primero creamos una empresa de análisis. Después creamos un agente y nos dimos cuenta de que no podíamos ver nada. Aquí te explicamos cómo lo solucionamos.

La señal de evaluación que predice el triple de retención de agentes
Información

La señal de evaluación que predice el triple de retención de agentes

Utilizamos Análisis de agentes para entender si las señales de evaluación realmente predicen si los usuarios vuelven. El resultado nos sorprendió.

Preparar una sopa de piedra: desarrollo basado en evaluaciones para análisis con IA
Producto

Preparar una sopa de piedra: desarrollo basado en evaluaciones para análisis con IA

Cómo contribuyeron los equipos de desarrollo, los clientes y los LLM a automatizar los datos en Amplitude.

Ver más

Instrumenta cualquier proveedor de LLM

Wrappers nativos para los proveedores con los que realmente trabajas. Un puente de OpenTelemetry para todo lo demás. Captura manual cuando quieres tener un control total.

your terminal
$
$
Lee la documentación

SDK fácil de integrar y listo para usar en Python y Node en cuestión de minutos.

Análisis de contenido opcional

Diseñado específicamente para que puedas controlar lo que sale de tu entorno.

TierWhat you sendWhat you get
Metadata OnlyTokens, cost, latency, behavioral signalsCost analytics, retention curves, funnel drop-off. No conversation content leaves your environment.
Customer EnrichedYour classification labelsFull topic and quality analytics. You run your own classifiers and send us the structured labels.
FullConversation contentAutomatic topic classification, quality scoring, and behavioral pattern detection.

Envía conversaciones completas, tus propias etiquetas o solo metadatos. Cambia de modo por agente o por fuente de eventos.

Análisis de agentes está en fase beta

Deja de basarte en presentimientos

  • Descubre los modos de fallo que realmente te hacen perder usuarios.
  • Mide la conversión y la retención en función de la calidad del agente.
  • Conecta cualquier seguimiento con Session Replay y los experimentos.
Regístrate para obtener acceso anticipado

Regístrate para obtener acceso anticipado

Preguntas frecuentes

La capa de análisis entre la observabilidad de los LLM y el análisis de productos. Cada mensaje de usuario, llamada a la herramienta, respuesta del agente y final de sesión se convierte en un evento de Amplitude etiquetado con el tema, la puntuación de calidad y el patrón de comportamiento, para que puedas crear cohortes, embudos y curvas de retención sobre la calidad de las sesiones de IA.

Las herramientas de seguimiento responden a esta pregunta: «¿Qué hizo el agente?». El Análisis de agentes responde a esta otra: «¿Le funcionó al usuario?». Puedes conservar tu herramienta de seguimiento: AmplitudeGenAIExporter añade Amplitude como un segundo destino de OpenTelemetry con un único registro del procesador de intervalos.

No. El SDK tiene tres modos de privacidad: metadata_only (solo tókenes, latencia, coste y señales de comportamiento), customer_enriched (tus propias etiquetas, sin texto sin procesar) y full (enriquecimiento gestionado). La mayoría de los equipos empiezan con la opción de solo metadatos y luego se pasan a otra a medida que aumenta la confianza.

Python en PyPI (pip install amplitude-ai) y Node.js / TypeScript en npm (npm install @amplitude/ai). Contenedores nativos para OpenAI, Anthropic, Gemini, Bedrock, Mistral y Azure OpenAI. Integraciones de marcos para LangChain, LlamaIndex, OpenAI Agents SDK, CrewAI y el Claude Agent SDK. Todo lo que emita intervalos de GenAI de OpenTelemetry (instrumentación de OpenLIT, Traceloop y OpenAI) pasa a través del puente.

Cada evento de agente tiene un ID de Session Replay. View Replay se abre, desde cualquier sesión en el explorador, justo en el momento en el que comenzó la conversación, por lo que puedes ver el fallo del agente dentro del producto en cuestión que usase el usuario.

Cada evento incluye la variante del experimento como propiedad, por lo que las pruebas A/B de indicaciones se atribuyen correctamente en las conversaciones de varios turnos. Las puntuaciones de calidad y los patrones de comportamiento pasan a las cohortes a las que Guides y Activation se dirigen en tiempo real. El mismo espacio de trabajo, el mismo gráfico de identidad.

Una nueva era de los análisis

Todas las vistas, desde el resumen de un agente en tiempo real hasta las evaluaciones y los conjuntos de datos, relacionan lo que hizo el agente con lo que hizo el usuario a continuación.