Alignment, Präferenzlernen und Reinforcement Learning
Proximal Policy Optimization
Heißt auch PPO.
RL-Verfahren mit begrenzten beziehungsweise stabilisierten Policy-Updates.
Proximal Policy Optimization, kurz PPO, ist eine Familie von Verfahren für bestärkendes Lernen, die Änderungen der Entscheidungsregel eines Agenten stabilisieren soll. Schulman et al.: PPO Besonders bekannt ist die Variante mit einem begrenzenden Trainingsziel, dem sogenannten Clipping. Schulman et al.: PPO
Lernen ohne zu große Sprünge
PPO sammelt zunächst Abläufe mit der bisherigen Policy, also der Regel für die Aktionsauswahl, und verwendet diese Daten anschließend für mehrere Optimierungsschritte. Schulman et al.: PPO Dabei vergleicht es, wie wahrscheinlich eine ausgeführte Aktion unter der neuen und der vorherigen Policy ist. Schulman et al.: PPO
Zusätzlich berücksichtigt es den geschätzten Vorteil der Aktion gegenüber einem Vergleichswert, den sogenannten Advantage. Schulman et al.: PPO Dieser beschreibt nicht einfach die rohe Belohnung, sondern ordnet die Aktion relativ zu einer erwarteten Bewertung ein. Schulman et al.: PPO
Die verbreitete Clipping-Variante begrenzt den Anreiz im Trainingsziel, bestimmte Wahrscheinlichkeitsverhältnisse immer weiter zu verschieben. Schulman et al.: PPO Sie setzt jedoch keine harte Obergrenze für sämtliche Parameteränderungen oder jede tatsächliche Abweichung der Policy. Schulman et al.: PPO
So kannst du dir das vorstellen
Stell dir eine hypothetische Trainingsrunde für einen Assistenten vor, der mehrere Antwortvarianten ausprobiert hat. Eine Variante wird günstiger bewertet als erwartet und soll künftig wahrscheinlicher werden.
Ohne Vorsicht könnte das Training diesen einzelnen Erfolg übermäßig stark gewichten. Die Analogie zu PPO wäre, den zusätzlichen Nutzen einer immer größeren Verschiebung zu begrenzen, statt aus einem positiven Beispiel sofort eine radikale Verhaltensänderung abzuleiten.
Das Bild einer „kleinen Stellschraube“ hilft hier nur bedingt: Das Verfahren garantiert nicht, dass jede reale Änderung tatsächlich klein bleibt. Diese Einschränkung gehört zum Verständnis des Clipping-Prinzips.
Zwei unterschiedliche Vergleichsmodelle
Die ursprüngliche PPO-Arbeit stellt sowohl eine Clipping-Variante als auch eine Variante mit anpassbarer KL-Strafe vor. Schulman et al.: PPO Bei InstructGPT kommt zusätzlich eine Strafe für die Abweichung von einem überwacht trainierten Referenzmodell zum Einsatz. Ouyang et al.: InstructGPT
Die alte Policy eines PPO-Updates und dieses Referenzmodell haben unterschiedliche Aufgaben: Erstere dient dem Updatevergleich, Letzteres soll die längerfristige Abweichung vom Ausgangsverhalten begrenzen. Ouyang et al.: InstructGPT PPO und RLHF sind deshalb keine Synonyme; PPO kann ein Optimierungsbestandteil einer RLHF-Pipeline sein. Ouyang et al.: InstructGPT