Process Reward Model

Ein Process Reward Model, kurz PRM, ist ein gelerntes Bewertungsmodell, das einzelne Schritte eines erzeugten Lösungswegs beurteilt. Lightman et al.: Let's Verify Step by Step In der Arbeit „Let's Verify Step by Step“ wird es mit Rückmeldungen zu Zwischenschritten mathematischer Lösungen trainiert, statt ausschließlich eine Bewertung des Endergebnisses zu erhalten. Lightman et al.: Let's Verify Step by Step

Wo ist der Fehler entstanden?

Für das beschriebene Training markieren Menschen Lösungsschritte als positiv, negativ oder neutral; das Modell lernt, entsprechende Bewertungen vorherzusagen. Lightman et al.: Let's Verify Step by Step Es erhält dabei den bisherigen Lösungstext bis einschließlich des zu bewertenden Schritts. Lightman et al.: Let's Verify Step by Step

Das Schrittfeedback macht genauer sichtbar, an welcher Stelle ein Lösungsweg problematisch wird. Lightman et al.: Let's Verify Step by Step Eine reine Endbewertung kann dagegen anzeigen, dass die Gesamtlösung falsch ist, ohne den ersten Fehler direkt zu benennen. Lightman et al.: Let's Verify Step by Step

Die Schrittbewertungen können außerdem zu einem Gesamtwert für den Vergleich vollständiger Lösungen zusammengefasst werden. Lightman et al.: Let's Verify Step by Step In der genannten Untersuchung wählt das System damit unter mehreren erzeugten Kandidaten aus; der antwortende Generator wird dort nicht zusätzlich durch Reinforcement Learning verbessert. Lightman et al.: Let's Verify Step by Step

So kannst du dir das vorstellen

Ein hypothetischer Assistent berechnet einen Angebotspreis in mehreren Schritten: Mengen übernehmen, Einzelpreise multiplizieren, Rabatt anwenden und die Summe bilden. Im dritten Schritt zieht er versehentlich den Rabatt zweimal ab.

Eine reine Ergebnisprüfung würde die falsche Summe erkennen. Ein schrittweiser Bewertungsansatz soll dagegen genauer unterscheiden, welche Teile bis dahin nachvollziehbar waren und wo die Rechnung abweicht.

Das ähnelt einer Korrektur am Rechenweg statt nur einem Kreuz neben der Endzahl. Die Analogie beschreibt die Art des Feedbacks, nicht eine fehlerfreie automatische Buchprüfung.

Bewerteter Text ist keine vollständige Innensicht

Die untersuchten PRMs beurteilen ausdrücklich ausgegebene Lösungsschritte und deren Textkontext. Lightman et al.: Let's Verify Step by Step Daraus ergibt sich zunächst eine Bewertung dieses dargestellten Lösungswegs, kein unmittelbarer Messzugang zu sämtlichen internen Berechnungen des erzeugenden Modells. Lightman et al.: Let's Verify Step by Step

Auch die Zusammenfassung der Schrittwerte ist eine methodische Entscheidung: Die Forschungsarbeit untersucht beispielsweise Produkt und Minimum als unterschiedliche Gesamtbewertungen. Lightman et al.: Let's Verify Step by Step Deshalb lohnt sich bei einer konkreten Umsetzung die Nachfrage, was als Schritt gilt und wie aus einzelnen Bewertungen die Gesamtauswahl entsteht.

Verwandte Begriffe

Reward Model, Outcome Reward Model, Verifier, Chain of Thought, GRPO.