Fehlverhalten, Zuverlässigkeit und menschliche Wahrnehmung
Behavioral Failure
Fehlverhalten des Gesamtablaufs trotz technisch erfolgreicher Einzelaufrufe.
Ein Behavioral Failure ist ein Fehlschlag auf der Ebene des Verhaltens: Jeder einzelne Aufruf war erfolgreich, kein Werkzeug hat einen Fehler geworfen, und trotzdem hat das System die Aufgabe nicht erledigt. Die Auswertung von Durchläufen verschiedener Mehragentensysteme hat genau solche Muster geordnet, darunter das Abweichen von der Aufgabe, fehlende Rückfragen bei Unklarheit und unvollständige Prüfung der Ergebnisse. Cemri et al.
Technisch grün, fachlich falsch
Diese Fehlerart fällt in der Überwachung durch, weil klassische Messgrößen sie nicht sehen: keine Ausnahmen, keine Zeitüberschreitungen, normale Antwortzeiten. Sichtbar wird sie erst, wenn jemand das Ergebnis gegen die Absicht hält.
Für Agenten ist das der Regelfall der ernsten Fehler. Weil sie viele Schritte selbst bestimmen, entsteht das Problem nicht an einer Stelle, sondern im Zusammenspiel, und deshalb wird empfohlen, Agenten zuerst in abgeschotteten Umgebungen zu erproben. Anthropic: Building effective agents
So kannst du dir das vorstellen
Eine Bestellung wird ausgeführt, die Ware kommt pünktlich, alles ist quittiert, nur war es die falsche Ware. Kein Arbeitsschritt ist danebengegangen, das Ergebnis trotzdem unbrauchbar. Das Bild erklärt den Unterschied zwischen technischer und fachlicher Erfolgsmeldung.
Was es in der Praxis bedeutet
Miss das Ergebnis, nicht nur den Ablauf. Dafür braucht es eine Vorstellung davon, was Erfolg bedeutet: eine Prüfliste, ein Testlauf, eine Abnahme durch die Fachabteilung an Stichproben.
Nützlich sind außerdem Protokolle, die die Absicht festhalten und nicht nur die Aufrufe: Welchen Plan hatte der Agent, welche Annahme hat er getroffen, woran hat er den Erfolg festgemacht? Ohne das lässt sich hinterher nicht feststellen, an welcher Stelle das Verhalten abgebogen ist.
Wo es verwechselt wird
Verhaltensfehler sind keine Programmfehler und lassen sich nicht durch mehr Fehlerbehandlung beseitigen. Und sie sind nicht dasselbe wie Halluzination: Hier stimmt womöglich jede einzelne Aussage, nur das Vorgehen war falsch.
Verwandte Begriffe
Compounding Errors, Tool Misuse, Agent Loop, Evaluator Agent, LLM Observability.