Tool Misuse

Tool Misuse liegt vor, wenn ein Modell zwar ein Werkzeug aufruft, aber das falsche, oder das richtige mit unpassenden Argumenten. Der Aufruf gelingt technisch, das Ergebnis passt trotzdem nicht zur Aufgabe. Diese Fehlerart ist unangenehmer als ein fehlgeschlagener Aufruf, weil sie keine Fehlermeldung erzeugt.

Die Ursache liegt meist in der Beschreibung

Das Modell kennt nur Name, Beschreibungstext und Schema. Sind zwei Werkzeuge ähnlich benannt oder unscharf beschrieben, greift es daneben. Empfohlen werden deshalb ausführliche Beschreibungen, die auch sagen, wann ein Werkzeug nicht passt und was es nicht zurückgibt. Anthropic: Define tools

Dazu kommt die Menge. Mit wachsender Werkzeugzahl sinkt die Treffsicherheit, laut Dokumentation spürbar oberhalb von etwa 30 bis 50 verfügbaren Werkzeugen. Anthropic: Tool search tool

So kannst du dir das vorstellen

Jemand greift im Werkzeugkasten zur Kombizange statt zum Rohrzangenschlüssel. Die Arbeit geht weiter, das Ergebnis ist unsauber, und niemand hört einen Knall. Das Bild erklärt die Unauffälligkeit dieser Fehlerart, es sagt nichts über die Ursache im Einzelfall.

Was es in der Praxis bedeutet

Der Hebel liegt vor dem Prompt. Weniger Werkzeuge bereitstellen, verwandte Aktionen in einem Werkzeug mit einem Aktionsparameter zusammenfassen, Namen mit Präfix je Dienst vergeben und die Beschreibungen so schreiben, wie man sie einer neuen Kollegin geben würde.

Erkennbar wird die Fehlerart nur im Protokoll. Halte fest, welches Werkzeug mit welchen Argumenten aufgerufen wurde, und sieh dir Stichproben an. Wer nur die Endantworten prüft, sieht falsche Werkzeugwahl erst, wenn sie im Ergebnis durchschlägt.

Wo es verwechselt wird

Falsche Werkzeugwahl ist kein Tool Call Failure: Dort meldet der Aufruf einen Fehler, hier läuft alles durch. Und es ist keine Halluzination, weil nichts erfunden wird, sondern eine Auswahlentscheidung danebengeht.

Verwandte Begriffe

Tool Call Failure, Tool Schema, Tool Catalog, Behavioral Failure, Tool Calling.