Alignment, Präferenzlernen und Reinforcement Learning
Reinforcement Learning with Verifiable Rewards
Heißt auch RLVR.
RL mit überprüfbaren Belohnungen, etwa durch Tests oder Ergebnisprüfer.
Reinforcement Learning with Verifiable Rewards, kurz RLVR, ist bestärkendes Lernen mit Belohnungen aus überprüfbaren Aufgabenkriterien. Allen AI: Tülu 3 Anstelle eines gelernten Modells für menschliche Präferenzen kann dabei eine Prüffunktion bewerten, ob eine Antwort beispielsweise ein bekanntes mathematisches Ergebnis trifft. Allen AI: Tülu 3
Woher kommt die Belohnung?
Allen AI beschreibt RLVR für Tülu 3 als eine Anpassung des RLHF-Ansatzes, bei der das gelernte Reward Model durch eine Verifikationsfunktion ersetzt wird. Allen AI: Tülu 3 Die verwendeten Aufgaben umfassen unter anderem Mathematik und das Einhalten eindeutig überprüfbarer Anweisungen. Allen AI: Tülu 3
Die Prüfung kann ein einfaches Ja-Nein-Signal liefern, aus dem eine numerische Belohnung entsteht. Allen AI: Tülu 3 Entscheidend ist, dass die Bewertung auf einem kontrollierbaren Kriterium beruht und nicht nur darauf, welche Antwort überzeugender klingt. Allen AI: Tülu 3
RLVR bezeichnet dabei die Art des Belohnungssignals, während etwa PPO ein Verfahren zur Anpassung der Entscheidungsregel des Modells beschreibt. Allen AI: Tülu 3 Diese beiden Ebenen solltest du nicht als konkurrierende Namen für genau denselben Bestandteil einer Trainingspipeline lesen. Schulman et al.: PPO
So kannst du dir das vorstellen
Ein hypothetischer Assistent soll aus drei vorgegebenen Rechnungspositionen eine Gesamtsumme berechnen. Für die Trainingsaufgabe ist das richtige Ergebnis bereits bekannt und kann unabhängig von der Formulierung geprüft werden.
Eine elegant geschriebene Antwort mit falscher Summe erhält in diesem vereinfachten Beispiel keine Erfolgsbelohnung. Eine sprachlich schlichte, aber korrekte Antwort besteht die Ergebnisprüfung.
Anders sähe es bei der Frage aus, ob ein Angebot besonders vertrauenswürdig wirkt. Dafür müsstest du zunächst einen anderen Bewertungsmaßstab festlegen, statt einfach dieselbe Rechenprüfung zu verwenden.
Überprüfbar heißt nicht allumfassend
Eine richtige Endantwort beweist noch keinen fehlerfreien Lösungsweg; bei mathematischen Aufgaben können auch falsche Zwischenschritte zufällig zum passenden Ergebnis führen. Lightman et al.: Let's Verify Step by Step Außerdem kann eine unvollständige formale Vorgabe erfüllt werden, obwohl die eigentliche Absicht verfehlt wird. Google DeepMind: Specification Gaming
Für einen praktischen Einsatz würde ich daher genau dokumentieren, was der Prüfer abdeckt und was außerhalb seiner Prüfung bleibt. Die Bezeichnung RLVR ersetzt diese Beschreibung nicht.
Verwandte Begriffe
Reinforcement Learning, Verifier, Reward, PPO, Outcome Reward Model.