Online Evaluation

Online Evaluation bewertet, was im echten Betrieb passiert, statt nur vorab auf einem Testsatz zu messen. Ausgewertet werden laufende Anfragen, entweder vollständig oder als Stichprobe, mit automatischen Prüfungen, Bewertung durch ein Modell oder Rückmeldungen der Nutzer. Zheng et al.

Testsätze veralten, der Betrieb nicht

Ein fester Testsatz misst immer dieselben Fälle. Was Nutzer tatsächlich eingeben, verschiebt sich dagegen: neue Themen, andere Formulierungen, veränderte Erwartungen. Bewertung im Betrieb fängt genau das ein.

Dazu kommt ein Befund aus der Prüfungsforschung: Modelle erkennen Testsituationen an deren Eigenheiten, und das Verhalten kann dort von dem im Betrieb abweichen. Needham et al. Auch deshalb ist die Messung am echten Verkehr aussagekräftiger.

So kannst du dir das vorstellen

Qualitätskontrolle am laufenden Band statt nur einer Musterprüfung vor Produktionsbeginn. Beides hat seinen Platz, nur das eine erkennt Abweichungen im Alltag. Das Bild erklärt den Unterschied, es beschreibt kein konkretes Verfahren.

Was es in der Praxis konkret bedeutet

Fange mit einer kleinen Stichprobe an, etwa ein Prozent der Anfragen, bewertet nach zwei oder drei festen Kriterien. Wichtig ist der Abgleich: Lies selbst hundert Fälle und vergleiche dein Urteil mit dem der automatischen Bewertung, sonst misst du etwas, das mit Qualität nichts zu tun hat. Und kläre den Datenschutz, denn hier werden echte Nutzereingaben ausgewertet.

Wo es verwechselt wird

Bewertung im Betrieb ersetzt keine Prüfung vor dem Start, sie ergänzt sie. Und Nutzerrückmeldungen wie Daumen hoch sind eine schwache Datenquelle: Sie kommen selten und überwiegend von unzufriedenen Nutzern.

Verwandte Begriffe

Trace Analytics, LLM-as-a-Judge, Evaluation, LLM Observability, Evaluation Awareness, Model Drift.