---
term: "LLM Observability"
slug: "llm-observability"
glossar_id: "G623"
variants: []
category: "betrieb-observability-und-produktbegriffe"
marker: ""
short: "Nachvollziehbarkeit von Aufrufen, Entscheidungen, Aktionen und Ergebnissen."
sources:
  - label: "OpenTelemetry: Semantische Konventionen für generative KI"
    url: "https://opentelemetry.io/docs/specs/semconv/gen-ai/gen-ai-spans/"
  - label: "OpenTelemetry: Traces"
    url: "https://opentelemetry.io/docs/concepts/signals/traces/"
status: "entwurf"
updated: "2026-09-21"
---

LLM Observability bezeichnet die Nachvollziehbarkeit dessen, was ein Modell oder ein Agent tatsächlich getan hat: welcher Prompt gesendet wurde, welche Antwort kam, welche Werkzeuge aufgerufen wurden, wie lange es dauerte und was es gekostet hat. Für die Aufzeichnung gibt es inzwischen standardisierte Felder. [OpenTelemetry: Generative KI](https://opentelemetry.io/docs/specs/semconv/gen-ai/gen-ai-spans/)

## Klassische Überwachung greift hier zu kurz

Bei gewöhnlicher Software genügen Fehlerquote, Antwortzeit und Auslastung. Bei Sprachmodellen ist der häufigste Problemfall eine Antwort mit Statuscode 200, die inhaltlich unbrauchbar ist. Das taucht in keiner technischen Kennzahl auf.

Deshalb kommen inhaltliche Aufzeichnungen dazu: die vollständige Abfolge eines Laufs, Tokenverbrauch pro Aufruf, Abbruchgründe, und die Ergebnisse automatischer Qualitätsprüfungen. [OpenTelemetry: Traces](https://opentelemetry.io/docs/concepts/signals/traces/) Damit wird aus Überwachung eine Grundlage für Verbesserung.

## So kannst du dir das vorstellen

Ein Fahrtenschreiber statt eines Tachos. Der Tacho zeigt, dass gefahren wird, der Schreiber zeigt hinterher, was wann passiert ist. Das Bild erklärt den Unterschied zwischen Momentanwert und Verlauf, es beschreibt kein konkretes Werkzeug.

## Was es in der Praxis konkret bedeutet

Fange mit dem Minimum an und baue aus: Prompt, Antwort, Modellversion, Tokenzahlen, Dauer und ein Kennzeichen für den Vorgang. Damit lassen sich die häufigsten Fragen beantworten, nämlich warum ein bestimmter Fall schiefging und wo die Kosten entstehen. Kläre vorher, was gespeichert werden darf: Prompts enthalten regelmäßig personenbezogene Daten, weshalb Aufbewahrungsfristen und Zugriffsrechte dazugehören.

## Wo es verwechselt wird

Aufzeichnung ist nicht Bewertung. Wer alles protokolliert, weiß noch nicht, ob die Antworten gut waren; dafür braucht es Prüfungen im Betrieb. Und Observability ersetzt keine Tests vor dem Start.

## Verwandte Begriffe

**Trace**, **Trace Analytics**, **OpenTelemetry**, **Online Evaluation**, **Data Retention**, **Inference Cost**.