KL Penalty

Eine KL Penalty ist ein zusätzlicher Strafterm im Trainingsziel, der die Abweichung einer Wahrscheinlichkeitsverteilung von einer Referenzverteilung berücksichtigt. Rafailov et al.: DPO Beim Präferenztraining von Sprachmodellen soll sie verhindern, dass die Optimierung eines Belohnungssignals das Antwortverhalten zu weit vom Referenzmodell entfernt. Ouyang et al.: InstructGPT

Abweichung von welchem Ausgangspunkt?

Die Abkürzung KL steht für Kullback-Leibler; die zugehörige Divergenz wird in den beschriebenen Trainingszielen zwischen Modellverteilungen berechnet. Rafailov et al.: DPO Gemeint ist also keine bloße Anzahl geänderter Wörter oder ein direkter Abstand zwischen Modellparametern. Rafailov et al.: DPO

In der InstructGPT-Pipeline dient das zuvor überwacht angepasste Modell als Referenz für die RL-Phase. Ouyang et al.: InstructGPT Das Trainingsziel verbindet eine gute Bewertung der erzeugten Antwort mit einer Strafe für Abweichungen von dieser Referenz. Ouyang et al.: InstructGPT

Ein Gewichtungsfaktor legt fest, wie stark beide Ziele gegeneinander abgewogen werden. Rafailov et al.: DPO Die Strafe ist dabei Teil der Optimierungsaufgabe und keine pauschale Garantie, dass jede einzelne Antwort innerhalb einer festen erlaubten Abweichung bleibt. Rafailov et al.: DPO

So kannst du dir das vorstellen

Stell dir einen hypothetischen Assistenten vor, dessen Ausgangsverhalten bereits brauchbar ist. Ein neues Bewertungsmodell bevorzugt allerdings besonders ausführliche Antworten.

Du möchtest diesen Hinweis berücksichtigen, ohne das gesamte Antwortverhalten nur auf diesen einen Maßstab auszurichten. Eine KL-Strafe ähnelt in dieser Analogie einer zusätzlichen Kostenposition für zu starke Verschiebungen gegenüber dem Ausgangsmodell.

Die Analogie hat eine Grenze: Es gibt dabei keinen menschlichen Prüfer, der jede Formulierung mit einer früheren Antwort vergleicht. Der beschriebene Mechanismus arbeitet mit Wahrscheinlichkeiten innerhalb des Trainingsziels.

Nicht jede Referenz erfüllt dieselbe Aufgabe

PPO vergleicht bei einem Update unter anderem die neue Policy mit derjenigen, die die Trainingsdaten erzeugt hat. Schulman et al.: PPO Die zusätzliche RLHF-Referenz aus dem überwachten Training erfüllt dagegen eine längerfristige Rückhaltefunktion. Ouyang et al.: InstructGPT

Auch DPO leitet sein Ziel aus einer präferenzbasierten Optimierung mit KL-Regularisierung ab, ohne dafür ein separates Reward Model zu benötigen. Rafailov et al.: DPO Der Begriff beschreibt somit ein Prinzip der Trainingsgestaltung, nicht einen eigenständigen Nachweis für sichere oder richtige Antworten.

Verwandte Begriffe

Policy, PPO, RLHF, DPO, Regularisierung.