Reasoning und Test-Time Compute
Thought-Action-Observation Loop
Wiederholte Folge aus Überlegung, Handlung und Ergebnisbeobachtung.
Ein Thought-Action-Observation Loop ist eine wiederholte Abfolge aus einem Bearbeitungsschritt, einer Aktion und der Beobachtung ihres Ergebnisses. Google Research: ReAct Das Muster beschreibt einen zentralen Ablauf von ReAct-Systemen, in denen neue Rückmeldungen die nächste Entscheidung beeinflussen. Google Research: ReAct
Drei unterschiedliche Funktionen
- Thought: Das Modell hält beispielsweise fest, welche Information fehlt oder welcher Schritt als Nächstes sinnvoll erscheint. Google Research: ReAct
- Action: Es formuliert eine Aktion, die über die angebundene Umgebung oder ein Werkzeug ausgeführt werden kann. Google Research: ReAct
- Observation: Das tatsächliche Ergebnis der Interaktion wird als neue Information in den weiteren Ablauf aufgenommen. Google Research: ReAct
Die nächste Schleifenrunde setzt damit auf einem veränderten Informationsstand auf. Google Research: ReAct Bei längeren Entscheidungsaufgaben kann die genaue Folge variieren; die ReAct-Darstellung verlangt nicht für jede Anwendung ein starres Dreierschema. Google Research: ReAct
So kannst du dir das vorstellen
Ein hypothetischer Assistent soll eine Artikelnummer in einer internen Liste finden. Die erste Suchanfrage liefert keinen Treffer.
Die Beobachtung lautet dann „kein Treffer für diese Suche“, nicht „der Artikel existiert nicht“. Ein sinnvoller nächster Schritt wäre in diesem Beispiel, eine alternative Schreibweise oder eine weitere zulässige Liste zu prüfen.
Wenn auch dort keine belastbaren Angaben vorliegen, könnte der Assistent die Suche mit einem klaren Hinweis auf die offene Zuordnung beenden. Das Beispiel veranschaulicht, wie Rückmeldungen den Ablauf verändern sollen.
Ein Aktionssatz ist noch kein Ausführungsnachweis
Die ReAct-Quelle trennt erzeugte Aktionsangaben von Beobachtungen aus der externen Umgebung. Google Research: ReAct Daraus folgt für die praktische Prüfung: Die Behauptung „Ich habe nachgesehen“ sollte nicht denselben Stellenwert erhalten wie ein tatsächlich vorliegendes Suchergebnis.
Für einen selbst aufgebauten Ablauf würde ich zusätzlich eine Abbruchbedingung und eine Begrenzung wiederholter Versuche vorsehen. Sonst wäre nicht klar, wann ausbleibender Fortschritt gemeldet werden soll.
Ein sichtbares Protokoll solcher Schritte ist außerdem nicht automatisch eine vollständige Aufzeichnung aller internen Modellvorgänge. Anthropic: Faithfulness von Reasoning Es beschreibt zunächst den beobachtbaren Arbeitsablauf.