Reasoning und Test-Time Compute
System 2 Thinking
An menschliches langsames Denken angelehnte Metapher für Reasoning-Verarbeitung.
System 2 Thinking ist im KI-Kontext eine an menschliches, aufwendigeres Nachdenken angelehnte Metapher für zusätzliche, schrittweise Verarbeitung. Weston und Sukhbaatar: System 2 Attention Sie wird von schneller, eher automatischer Verarbeitung abgegrenzt, ohne damit zwei menschliche Denksysteme in einem Sprachmodell nachzuweisen. Weston und Sukhbaatar: System 2 Attention
Ein Bild für bewusst eingeplanten Aufwand
Die Arbeit zu System 2 Attention greift die Unterscheidung zwischen automatischer Verarbeitung und gezielter zusätzlicher Aufmerksamkeit ausdrücklich als Analogie auf. Weston und Sukhbaatar: System 2 Attention Ihr konkretes Verfahren lässt ein Modell zunächst irrelevante Kontextteile entfernen und erst danach die eigentliche Antwort erzeugen. Weston und Sukhbaatar: System 2 Attention
System 2 Attention ist damit ein bestimmter Ansatz, nicht die Definition sämtlicher Reasoning-Verfahren. Weston und Sukhbaatar: System 2 Attention Andere zusätzliche Inferenzverfahren erzeugen beispielsweise mehrere Lösungsversuche oder prüfen und überarbeiten Zwischenergebnisse. Snell et al.: Test-Time Compute
Der Ausdruck „System 2“ allein legt also noch keinen eindeutigen Algorithmus, kein Tokenbudget und keine Qualitätsstufe fest. Für eine technische Beschreibung müsste jeweils erklärt werden, welche zusätzlichen Verarbeitungsschritte tatsächlich stattfinden.
So kannst du dir das vorstellen
Als menschliche Analogie kannst du an den Unterschied zwischen einer rasch beantworteten Routinefrage und dem sorgfältigen Prüfen eines komplizierten Angebots denken. Im zweiten Fall würdest du vielleicht Annahmen notieren, Zahlen nachrechnen und Bedingungen vergleichen.
Ein hypothetischer KI-Ablauf könnte ebenfalls mehrere festgelegte Prüf- und Bearbeitungsschritte vorsehen. Das macht die zusätzliche Arbeit anschaulich, bedeutet aber nicht, dass dabei menschliches Bewusstsein oder dieselben psychologischen Vorgänge entstehen.
Die Metapher ersetzt keinen Nachweis
Auch zusätzliche Verarbeitung kann Fehler erzeugen oder relevante Informationen verwerfen. Weston und Sukhbaatar: System 2 Attention Die System-2-Attention-Arbeit nennt unter anderem unvollständige Kontextbereinigung und Fehler beim Übernehmen von Text als Grenzen. Weston und Sukhbaatar: System 2 Attention
Ebenso hängt der Nutzen zusätzlichen Test-Time Computes vom Verfahren, dem Modell und der Aufgabe ab. Snell et al.: Test-Time Compute „Denkt länger“ sollte deshalb nicht ungeprüft als „antwortet richtiger“ gelesen werden.
Für eine konkrete Auswahl würde ich nach den tatsächlichen Mechanismen und überprüfbaren Ergebnissen fragen. Die Metapher kann das Ziel erläutern, liefert allein aber weder eine technische Spezifikation noch eine Erfolgsgarantie.
Verwandte Begriffe
Reasoning Model, Chain of Thought, Test-Time Compute, Test-Time Scaling, Reasoning Effort.