Reasoning und Test-Time Compute
Scratchpad
Arbeitsbereich für Zwischenschritte vor der finalen Antwort.
Ein Scratchpad ist bei Sprachmodellen ein Arbeitsbereich aus erzeugten Zwischenschritten, der vor der endgültigen Antwort verwendet wird. Nye et al.: Scratchpads In der ursprünglichen Forschungsarbeit besteht er aus zusätzlichen Tokens, die beispielsweise Zwischenrechnungen oder Zustände einer Programmausführung darstellen. Nye et al.: Scratchpads
Zwischenergebnisse im Kontext halten
Die bereits erzeugten Angaben bleiben als Text im Kontext verfügbar, sodass das Modell bei späteren Schritten darauf zurückgreifen kann. Nye et al.: Scratchpads Ein Scratchpad kann damit genauer strukturiert sein als eine frei formulierte Erklärung. Nye et al.: Scratchpads
Bei einer Programmausführung beschreibt die Arbeit beispielsweise, welche Codezeile ausgeführt wurde und welche Werte die Variablen anschließend besitzen. Nye et al.: Scratchpads Bei schriftlicher Addition können Zwischensummen und Überträge festgehalten werden. Nye et al.: Scratchpads
Die Studie untersucht sowohl Training mit solchen Zwischenzuständen als auch Fälle, in denen ein vortrainiertes Modell entsprechende Beispiele im Prompt erhält. Nye et al.: Scratchpads „Scratchpad“ bezeichnet deshalb nicht automatisch ein Verfahren ohne Training.
So kannst du dir das vorstellen
Du prüfst hypothetisch einen kleinen Bestandsablauf: Anfangs sind zehn Teile vorhanden, vier werden entnommen, anschließend kommen sechs hinzu. Ein schematischer Arbeitszettel könnte so aussehen:
Anfangsbestand: 10
Nach Entnahme von 4: 6
Nach Zugang von 6: 12
Endbestand: 12
Die Zwischenstände machen sichtbar, auf welchem Zustand der nächste Schritt aufbaut. Das ist ein selbst entworfenes Rechenbeispiel, kein Ausführungsprotokoll eines getesteten Modells.
Arbeitszettel ist nicht Gedächtnisgarantie
Die Scratchpad-Arbeit weist darauf hin, dass die Zwischenaufzeichnungen in das verfügbare Generierungsfenster passen müssen. Nye et al.: Scratchpads Umfangreiche Abläufe können entsprechend lange Spuren erzeugen. Nye et al.: Scratchpads
Ob eine Anwendung solche Inhalte überhaupt zeigt, ist eine separate Frage: Manche Schnittstellen geben interne Reasoning-Tokens nicht direkt aus, sondern ermöglichen nur Zusammenfassungen. OpenAI: Reasoning Models Eine sichtbare Denkzusammenfassung sollte daher nicht mit einem vollständigen Scratchpad oder einem lückenlosen Innenprotokoll gleichgesetzt werden. OpenAI: Reasoning Models Anthropic: Faithfulness von Reasoning
Verwandte Begriffe
Chain of Thought, Reasoning Tokens, Kontextfenster, Test-Time Compute, Memory.