Reasoning und Test-Time Compute
Reasoning Effort
Heißt auch Thinking Budget.
Steuerung des Umfangs zusätzlicher Reasoning-Verarbeitung.
Reasoning Effort / Thinking Budget
Reasoning Effort und Thinking Budget bezeichnen verwandte Möglichkeiten, den Aufwand zusätzlicher Reasoning-Verarbeitung zu steuern. OpenAI: Reasoning Models Anthropic: Extended Thinking Die Begriffe sind keine technisch identischen, anbieterübergreifend austauschbaren Parameter. OpenAI: Reasoning Models Anthropic: Extended Thinking
Aufwand steuern, nicht nur Antwortlänge
Reasoning Effort ist die Einstellung dafür, wie viel Reasoning ein Modell für eine Aufgabe einsetzen soll. OpenAI: Reasoning Models Unterstützte Stufen und Standardwerte hängen vom jeweiligen Modell ab. OpenAI: Reasoning Models
Bei manuell gesteuertem Extended Thinking ist budget_tokens ein Zielwert für interne Reasoning-Tokens, keine strikte Obergrenze. Anthropic: Extended Thinking Die tatsächlich verwendete Menge kann je nach Aufgabe geringer ausfallen; außerdem ist dieser Modus nicht bei jedem Modell verfügbar. Anthropic: Extended Thinking
Davon zu unterscheiden ist ein hartes Limit für die insgesamt erzeugten Tokens. OpenAI: Reasoning Models Anthropic: Extended Thinking Solche Limits können auch nicht sichtbare Reasoning-Tokens einschließen und sind daher nicht einfach die maximale Länge des lesbaren Antworttexts. OpenAI: Reasoning Models Anthropic: Extended Thinking
So kannst du dir das vorstellen
Ein hypothetischer Dokumentenassistent soll einmal nur einen ausdrücklich genannten Termin finden und ein anderes Mal widersprüchliche Angaben aus mehreren Anlagen prüfen. Für beide Aufgaben könnte die sichtbare Antwort am Ende aus wenigen Sätzen bestehen.
Trotzdem würdest du für den zweiten Fall möglicherweise mehr Bearbeitungsaufwand vorsehen. Die gewünschte Kürze des Ergebnisses und die verfügbare Verarbeitung vor diesem Ergebnis sind unterschiedliche Anforderungen.
Für einen Vergleich würde ich dieselben Testfälle mit verschiedenen unterstützten Einstellungen auswerten und Antwortqualität, tatsächlichen Verbrauch und Wartezeit nebeneinander betrachten. Allein der Name einer höheren Stufe wäre kein Qualitätsnachweis.
Budget und Verbrauch auseinanderhalten
Ein konfigurierter Zielwert oder Aufwandmodus sagt nicht exakt voraus, wie viele Reasoning-Tokens tatsächlich entstehen. OpenAI: Reasoning Models Anthropic: Extended Thinking Ein erreichtes Gesamtlimit kann eine Antwort außerdem abbrechen, noch bevor sichtbarer Text ausgegeben wurde. OpenAI: Reasoning Models
Für eine konkrete Integration müssen deshalb die Dokumentation des verwendeten Modells und die tatsächlichen Nutzungsdaten zusammen betrachtet werden. OpenAI: Reasoning Models Anthropic: Extended Thinking Eine kurze Denkzusammenfassung ist ebenfalls kein verlässlicher Zähler für den intern betriebenen Aufwand. Anthropic: Extended Thinking
Verwandte Begriffe
Reasoning Tokens, Test-Time Compute, Test-Time Scaling, Output Limit, Token Budget.