BFCL

BFCL steht für Berkeley Function Calling Leaderboard und prüft, ob ein Modell die richtige Funktion mit den richtigen Argumenten aufruft. Der Datensatz umfasst rund 2.000 Fälle aus etwa vierzig Teilgebieten, von Mathematik über Finanzen bis zu Nischen wie Sport und Recht. Yan et al.: BFCL

Geprüft wird auch, wann gar nicht aufgerufen werden soll

Die Fälle sind nach Schwierigkeit gestaffelt: ein Werkzeug mit einem Aufruf, mehrere angebotene Werkzeuge mit einem passenden, mehrere Aufrufe parallel, und beides kombiniert. Dazu kommen Aufrufe in anderen Sprachen als Python sowie REST- und SQL-Fälle.

Die wichtigste Kategorie heißt Function Relevance Detection. Dort passt keines der angebotenen Werkzeuge zur Frage, und richtig ist, nichts aufzurufen. Modelle, die auf Werkzeugnutzung getrimmt sind, scheitern genau hier: Sie rufen etwas auf, weil etwas angeboten wird. Bewertet wird teils über einen Vergleich der Aufrufstruktur, teils durch tatsächliches Ausführen der Funktion.

So kannst du dir das vorstellen

Ein neuer Mitarbeiter bekommt einen Schlüsselbund mit vierzig Schlüsseln und eine Aufgabe. Zur Aufgabe gehört manchmal keine Tür. Wer trotzdem irgendwo aufschließt, hat sie falsch gelöst. Das Bild erklärt, warum Nichtaufrufen eine eigene Fähigkeit ist, es beschreibt keine konkrete Schnittstelle.

Was es in der Praxis konkret bedeutet

Wenn du einem Modell viele Werkzeuge gibst, sind die Zahlen zur Werkzeugauswahl und zur Relevanzerkennung aussagekräftiger als der Gesamtwert. Ein hoher Gesamtwert bei schwacher Relevanzerkennung bedeutet im Betrieb überflüssige Aufrufe, also Kosten und Fehlerquellen. Prüfe außerdem, welche Version des Tests gemeint ist, denn der Aufgabenkatalog ist über die Jahre gewachsen.

Wo es verwechselt wird

BFCL misst einzelne Aufrufe, nicht das Durchhalten über ein ganzes Gespräch. Für mehrschrittige Abläufe mit wechselnden Nutzeranliegen steht τ-bench. Yao et al.

Verwandte Begriffe

Tool Calling, Tool Schema, τ-bench, Tool Misuse, Tool Catalog, Benchmark.