LoginSign Up

Agent Analytics

Was ist die tatsächliche Wirkung deines KI-Assistenten?

Zu wissen, dass dein Assistent eine gute Antwort gegeben hat, ist der einfache Teil. Agent Analytics verknüpft Ablaufverfolgung und Bewertung mit Konversion, Kundenbindung und Umsatz, sodass du die Assistentenqualität mit den tatsächlichen Auswirkungen auf dein Geschäft in Verbindung bringen kannst.

Registrieren und frühzeitigen Zugang sichern
Amplitude Agent Analytics session view
Two Mira assistant chats comparing on-budget and over-budget hotel recommendations

Wenn herkömmliche Analysen nicht ausreichen

Die meisten Analysetools wurden für Klicks und Seitenaufrufe entwickelt, nicht für logisches Denken und Tool-Aufrufe. Assistenten können halluzinieren, Anweisungen ignorieren und unbeirrt vom Kurs abkommen. Alle Nutzer:innen, die Zeit mit deinem Assistenten verbringen, scheinen gleichermaßen eingebunden zu sein. Aber wer fand ihn tatsächlich nützlich und verwendete ihn wieder?

Mehr als nur Observability

Erfahre, wie sich deine Assistenten auf das Produkt und den Umsatz auswirken.

KI-Qualität

Was der Assistent getan hat

Produktergebnisse

Was der/die Nutzer:in im Anschluss unternimmt

01 Beobachten

Überprüfe Ablaufverfolgungen, Prompts, Tool-Aufrufe, Antworten, Latenz und Kosten. Die Rohaufzeichnung dessen, was der Assistent tatsächlich getan hat.

02 Bewerten

Bewerte Qualität, Absicht, Lösung und Fehlermuster. Erfahre, wo der Assistent hilft, wo er verwirrt ist und wo er ein Risiko darstellt.

03 Entscheiden

Verknüpfe diese Qualitätssignale mit Konversion, Kundenbindung und Umsatz. Hat der Assistent den/die Nutzer:in tatsächlich weitergebracht?

04 Bereitstellen

Optimiere Prompts, führe Tests durch, löse Guides aus und personalisiere den nächsten Schritt basierend auf dem, was du gelernt hast.

A raw trace of spans next to the same turn decomposed into Amplitude events

Interaktionen aus der Ablaufverfolgung werden automatisch zu Amplitude-Ereignissen

Jede Nachricht von Nutzer:innen, jeder Tool-Aufruf und jede Antwort eines Assistenten ist ein Amplitude-Ereignis mit derselben „user_id“ wie die übrigen Produktdaten. Im Gegensatz zu Observability-Tools, die bei der Ablaufverfolgung enden, zerlegt Agent Analytics diese Gespräche in Ereignisse, sodass sie direkt in denselben Funneln, Kohorten und Kundenbindungsanalysen abgefragt werden können, die du bereits verwendest.

Die Fragen, die du endlich beantworten kannst

01

Hat unser Modell-Upgrade die Anmeldekonversion diese Woche erhöht oder beeinträchtigt?

02

Wie wirken sich korrekte Antworten im Vergleich zu Halluzinationen auf die Konversion aus?

03

Welche Assistenten-Themen korrelieren mit der Expansionsabsicht und welche mit dem Abwanderungsrisiko?

Das Reifegradmodell von Agent Analytics

Die meisten Observability-Tools decken nur die unteren Reifegrade ab. Agent Analytics bringt dich an die Spitze, indem es die KI-Qualität mit der User Journey und dem Umsatz verknüpft.

L4Umsatzattribution

Welchen finanziellen Mehrwert bietet die KI?

L3Verhaltensanalysen

Wie wirkt sich der Einsatz von KI auf die User Journey aus?

L2Semantische Intelligenz

Was macht der Assistent eigentlich?

L1Bewertungen und Annahmen

Hat der Assistent es richtig gemacht?

L0Ablaufverfolgung und Telemetrie

Kann ich sehen, was passiert ist?

Ein Blick hinter die Kulissen von Agent Analytics

Produktionsläufe überraschen Teams mit Fragen, auf die sie das Modell nie vorbereitet haben. Schau dir den Prompt, die Antwort des Assistenten, die von ihm aufgerufenen Tools und den abgerufenen Kontext an und gehe dann direkt zu Session Replay, um zu sehen, was schiefgelaufen ist.

Tool-AufrufePrompt-VersionenKontextabrufZum Replay springen

Wir haben es für unsere Anforderungen perfektioniert

Wir haben Assistenten bei Amplitude eingesetzt, sind auf die gleichen Probleme gestoßen wie du und haben daraufhin Agent Analytics entwickelt. Erfahre mehr über die Daten und Geschichten des Teams, das dahintersteckt.

Warum wir Agent Analytics entwickelt haben und warum jedes Assistenten-Team es braucht
Produkt

Warum wir Agent Analytics entwickelt haben und warum jedes Assistenten-Team es braucht

Wir haben ein Analytics-Unternehmen aufgebaut. Dann haben wir einen Assistenten erstellt und konnten nichts erkennen. So haben wir das Problem behoben.

Das Bewertungssignal, das die 3-fache Kundenbindung durch Assistenten vorhersagt
Erkenntnisse

Das Bewertungssignal, das die 3-fache Kundenbindung durch Assistenten vorhersagt

Wir haben Agent Analytics verwendet, um zu verstehen, ob Bewertungssignale tatsächlich vorhersagen, ob Nutzer:innen zurückkehren. Das Ergebnis hat uns überrascht.

Making Stone Soup: Bewertungsgesteuerte Entwicklung für Analytics mit KI
Produkt

Making Stone Soup: Bewertungsgesteuerte Entwicklung für Analytics mit KI

Wie Entwicklungsteams, Kund:innen und LLMs dazu beigetragen haben, Erkenntnisse in Amplitude zu automatisieren.

Mehr anzeigen

Mach jeden LLM-Anbieter einsatzbereit

Native Wrapper für die Anbieter, die du tatsächlich nutzt. Eine OpenTelemetry-Bridge für den Rest. Manuelle Erfassung, wenn du die volle Kontrolle haben möchtest.

your terminal
$
$
Dokumentation ansehen

Python und Node, einfach integrierbares SDK, in wenigen Minuten einsatzbereit.

Analysen mit optionalen Inhalten

Speziell entwickelt, damit du kontrollieren kannst, was deine Umgebung verlässt.

TierWhat you sendWhat you get
Metadata OnlyTokens, cost, latency, behavioral signalsCost analytics, retention curves, funnel drop-off. No conversation content leaves your environment.
Customer EnrichedYour classification labelsFull topic and quality analytics. You run your own classifiers and send us the structured labels.
FullConversation contentAutomatic topic classification, quality scoring, and behavioral pattern detection.

Sende vollständige Gespräche, deine eigenen Labels oder nur Metadaten. Wechsle die Modi pro Assistent oder pro Ereignisquelle.

Agent Analytics ist in der Beta-Phase

Verlasse dich nicht mehr auf dein Bauchgefühl

  • Finde die Fehlermuster, die dich tatsächlich Nutzer:innen kosten.
  • Miss die Konversion und Kundenbindung nach Assistentenqualität.
  • Verknüpfe jede Ablaufverfolgung mit Sitzungsaufzeichnungen und Experimenten.
Registrieren und frühzeitigen Zugang sichern

Registrieren und frühzeitigen Zugang sichern

Auf die Warteliste setzen

Häufig gestellte Fragen

Die Analytics-Ebene zwischen LLM-Observability und Produktanalysen. Jede Nachricht von Nutzer:innen, jeder Tool-Aufruf, jede Antwort eines Assistenten und jedes Sitzungsende wird zu einem Amplitude-Ereignis, das mit Thema, Qualitätsbewertung und Verhaltensmuster versehen ist. So kannst du Kohorten, Funnel und Bindungskurven zur Qualität von KI-Sitzungen erstellen.

Tools zur Ablaufverfolgung beantworten die Frage „Was hat der Assistent getan?“ Agent Analytics beantwortet die Frage „Hat es für den/die Nutzer:in funktioniert?“ Du kannst dein Tool zur Ablaufverfolgung behalten: AmplitudeGenAIExporter fügt Amplitude als zweites OpenTelemetry-Ziel in einer Span-Prozessor-Registrierung hinzu.

Nein! Das SDK verfügt über drei Datenschutzmodi: metadata_only (nur Token, Latenz, Kosten und Verhaltenssignale), customer_enriched (deine eigenen Labels, kein Rohtext) und full (verwaltete Anreicherung). Die meisten Teams beginnen mit „metadata_only“ und führen ein Upgrade durch, sobald das Vertrauen wächst.

Python auf PyPI (pip install amplitude-ai) und Node.js/TypeScript auf npm (npm install @amplitude/ai). Native Wrapper für OpenAI, Anthropic, Gemini, Bedrock, Mistral und Azure OpenAI. Framework-Integrationen für LangChain, LlamaIndex, OpenAI Agents SDK, CrewAI und das Claude Agent SDK. Alles, was OpenTelemetry-GenAI-Spans ausgibt (OpenLIT, Traceloop und OpenAI-Instrumentierung), fließt über die Integration ein.

Jedes Assistentenereignis enthält eine Session-Replay-ID. View Replay öffnet sich von jeder Sitzung im Explorer aus in dem Moment, in dem das Gespräch begonnen hat, sodass du beobachten kannst, wie der Assistent in dem tatsächlichen Produkt, das der/die Nutzer:in verwendet hat, versagt hat.

Jedes Ereignis enthält die Experimentvariante als Eigenschaft, sodass A/B-Tests in mehrstufigen Gesprächen korrekt zugeordnet werden. Qualitätsbewertungen und Verhaltensmuster fließen in Kohorten ein, auf die Guides und Activation in Echtzeit abzielen. Derselbe Arbeitsbereich, derselbe Identitätsgraph.

Eine neue Ära der Analysen

Von einer Live-Übersicht des Assistenten bis hin zu Auswertungen und Datensätzen verbindet jede Ansicht das, was der Assistent getan hat, mit dem, was der/die Nutzer:in im Anschluss unternimmt.