Alignment, Präferenzlernen und Reinforcement Learning
RLOO
Heißt auch Reinforce Leave-One-Out.
Policy-Gradient-Verfahren mit den übrigen Gruppenantworten als Vergleichsbasis.
RLOO steht für Reinforce Leave-One-Out und bezeichnet ein Verfahren, das beim bestärkenden Lernen mehrere Antworten auf dieselbe Anfrage miteinander vergleicht. Hugging Face: RLOO Trainer Für jede Antwort bilden dabei die Belohnungen der jeweils anderen Antworten den Vergleichswert. Hugging Face: RLOO Trainer
Die eigene Antwort bleibt draußen
Zunächst erzeugt die aktuelle Policy, also die Entscheidungsregel des Modells, mehrere Antworten pro Anfrage. Hugging Face: RLOO Trainer Für einen bestimmten Kandidaten wird anschließend der Durchschnitt der Belohnungen aller anderen Kandidaten berechnet. Hugging Face: RLOO Trainer
Die eigene Belohnung minus dieser Vergleichswert ergibt den sogenannten Advantage, also den relativen Vorteil der Antwort. Hugging Face: RLOO Trainer „Leave-One-Out“ beschreibt genau dieses Auslassen des gerade betrachteten Kandidaten beim Berechnen seiner Vergleichsbasis. Hugging Face: RLOO Trainer
Die dokumentierte Umsetzung kann Belohnungen aus einem trainierten Reward Model oder aus einer eigenen Bewertungsfunktion beziehen. Hugging Face: RLOO Trainer Eine zusätzliche KL-Strafe kann berücksichtigen, wie stark das Modell von einer Referenz abweicht. Hugging Face: RLOO Trainer
So kannst du dir das vorstellen
Nehmen wir als reines Rechenbeispiel drei Antworten mit den Belohnungen 1, 0 und 0. Für die erste Antwort ist der Durchschnitt der beiden anderen Bewertungen 0; ihr relativer Vorteil beträgt daher 1.
Für die zweite Antwort haben die anderen beiden die Werte 1 und 0. Ihr Durchschnitt ist 0,5; die zweite Antwort erhält damit einen relativen Vorteil von minus 0,5.
Für die dritte Antwort ergibt sich derselbe Wert. Diese Zahlen sind frei gewählt und zeigen lediglich die Rechenregel, keine gemessene Modellleistung.
Verwandt mit GRPO, aber nicht identisch
Beim ursprünglichen GRPO mit Gesamtbewertungen wird der Mittelwert der gesamten Gruppe abgezogen und zusätzlich durch deren Standardabweichung geteilt. Shao et al.: DeepSeekMath Der hier erklärte RLOO-Vergleich verwendet dagegen den Mittelwert der übrigen Antworten. Hugging Face: RLOO Trainer
Auch sollte die Kurzbezeichnung nicht mit einer unveränderlichen Softwareimplementierung gleichgesetzt werden: Die Trainingsbibliothek TRL unterstützt unter anderem mehrere Updates auf gesammelten Daten und Einstellungen zur Begrenzung übermäßiger Änderungen im Trainingsziel. Hugging Face: RLOO Trainer Für einen technischen Vergleich würde ich daher immer die verwendete Implementierung und ihre Einstellungen angeben.