Alignment, Präferenzlernen und Reinforcement Learning
Group Relative Policy Optimization
Heißt auch GRPO.
RL-Verfahren mit relativer Bewertung mehrerer Antworten derselben Gruppe.
Group Relative Policy Optimization, kurz GRPO, ist ein Verfahren für bestärkendes Lernen, das mehrere Antworten auf dieselbe Anfrage relativ zueinander bewertet. Shao et al.: DeepSeekMath In der ursprünglichen DeepSeekMath-Arbeit ersetzt dieser Gruppenvergleich das separat gelernte Wertmodell, das bei PPO häufig als Vergleichsbasis dient. Shao et al.: DeepSeekMath
Eine Gruppe als Maßstab
Für eine Anfrage erzeugt das Modell mehrere Antwortkandidaten und erhält für jeden eine Belohnung. Shao et al.: DeepSeekMath In der Variante mit Gesamtbewertungen wird von jeder Belohnung der Gruppenmittelwert abgezogen und das Ergebnis durch ein Maß für die Streuung innerhalb der Gruppe geteilt, die Standardabweichung. Shao et al.: DeepSeekMath
Die so normalisierte Bewertung zeigt, wie ein Kandidat im Verhältnis zu den anderen Antworten derselben Gruppe abschneidet. Shao et al.: DeepSeekMath Sie fließt in ein Trainingsziel ein, das mithilfe von sogenanntem Clipping Anreize für übermäßige Änderungen begrenzt und zusätzlich Abweichungen von einem Referenzmodell bestraft. Shao et al.: DeepSeekMath
Das entfallende Wertmodell, auch Critic genannt, schätzt die erwartete weitere Belohnung und ist nicht dasselbe wie ein Reward Model zur Bewertung einer Antwort. Shao et al.: DeepSeekMath Die ursprüngliche DeepSeekMath-Umsetzung nutzt weiterhin ein gelerntes Reward Model für die Bewertung der Antworten. Shao et al.: DeepSeekMath
So kannst du dir das vorstellen
Stell dir vor, ein hypothetischer Mathematikassistent erzeugt mehrere Lösungsversuche für genau dieselbe Aufgabe. Einige werden besser bewertet als die anderen.
Der Gruppenvergleich macht sichtbar, welche Versuche innerhalb dieses gemeinsamen Aufgabenrahmens günstiger abschneiden. Es wäre weniger sinnvoll, einen einfachen Rechenfehler bei einer leichten Aufgabe direkt mit einer völlig anderen, viel schwierigeren Aufgabe zu vergleichen.
Wenn alle Versuche dieselbe Bewertung bekommen, enthält ihr Vergleich in diesem vereinfachten Bild keine Rangfolge. Daraus folgt noch keine Aussage darüber, ob alle Lösungen gut oder alle schlecht sind.
Training statt Mehrheitsabstimmung
Die Gruppe dient bei GRPO zur Berechnung des Lernsignals für die Modellanpassung, nicht einfach zur Abstimmung über eine spätere Nutzerantwort. Shao et al.: DeepSeekMath Die Originalarbeit behandelt neben Gesamtbewertungen auch eine Variante mit Bewertungen einzelner Lösungsschritte. Shao et al.: DeepSeekMath
Wichtig ist deshalb, bei Beschreibungen die konkrete Variante mitzulesen. Die Kurzform „GRPO braucht kein Bewertungsmodell“ wäre für das ursprüngliche Verfahren irreführend, weil sie die Schätzung zukünftiger Belohnung und die Bewertung einer Antwort vermischt. Shao et al.: DeepSeekMath
Verwandte Begriffe
PPO, Policy, Reward Model, RLOO, RLVR.