τ-bench

τ-bench, auch Tau-bench geschrieben, stellt einen Agenten in ein simuliertes Kundengespräch. Ein zweites Sprachmodell spielt den Nutzer, der Agent hat Werkzeuge für eine Fachdomäne und eine Liste verbindlicher Regeln. Bewertet wird am Ende nicht der Gesprächsverlauf, sondern der Zustand der Datenbank: Stimmt er mit dem Soll überein, gilt die Aufgabe als gelöst. Yao et al.

Das eigentliche Maß heißt pass^k

Mit dem Test kam eine Kennzahl, die Verlässlichkeit misst statt Glück. Bei pass^k gilt eine Aufgabe nur dann als bestanden, wenn sie in allen k Durchläufen gelöst wird. Das ist etwas völlig anderes als pass@k bei Codetests, wo ein Treffer unter k Versuchen genügt.

Der Unterschied ist drastisch. In der Arbeit von 2024 lösten führende Agenten mit Werkzeugzugang weniger als die Hälfte der Aufgaben überhaupt, und im Einzelhandelsszenario blieben bei acht Durchläufen unter 25 Prozent durchgehend erfolgreich. Ein Agent, der dieselbe Aufgabe beim zweiten Anlauf anders löst, ist für den Betrieb unbrauchbar, auch wenn er im Mittel gut aussieht.

So kannst du dir das vorstellen

Ein Mitarbeiter im Kundenservice, der acht gleichartige Anfragen bearbeitet und dabei zweimal von der Hausregel abweicht. Im Schnitt ist die Bilanz gut, verlassen kannst du dich darauf nicht. Das Bild erklärt den Unterschied zwischen Durchschnitt und Verlässlichkeit, es bewertet keinen konkreten Agenten.

Was es in der Praxis konkret bedeutet

Wenn du einen Agenten in einen Prozess mit Außenwirkung stellst, ist Wiederholbarkeit die Kennzahl, die zählt. Führe jede Testaufgabe mehrfach aus und sieh dir an, wie oft das Ergebnis gleich bleibt. Ein einzelner erfolgreicher Durchlauf ist kein Nachweis, sondern eine Stichprobe von eins.

Wo es verwechselt wird

pass^k und pass@k sehen ähnlich aus und messen Gegenteiliges. Und gegenüber BFCL geht es hier nicht um den einzelnen korrekten Aufruf, sondern um Regeltreue über ein ganzes Gespräch. Yan et al.

Verwandte Begriffe

BFCL, Pass@k, Agent Loop, Tool Calling, GAIA, Benchmark.