---
term: "KL Penalty"
slug: "kl-penalty"
glossar_id: "G156"
variants: ["KL-Regularisierung"]
category: "alignment-praeferenzlernen-und-reinforcement-learning"
marker: "Technik"
short: "Begrenzung der Abweichung von einer Referenzverteilung beim Training."
sources:
  - label: "Rafailov et al.: DPO"
    url: "https://arxiv.org/pdf/2305.18290"
  - label: "Ouyang et al.: InstructGPT"
    url: "https://arxiv.org/pdf/2203.02155"
  - label: "Schulman et al.: PPO"
    url: "https://arxiv.org/pdf/1707.06347"
status: "entwurf"
updated: "2026-09-20"
---

Eine KL Penalty ist ein zusätzlicher Strafterm im Trainingsziel, der die Abweichung einer Wahrscheinlichkeitsverteilung von einer Referenzverteilung berücksichtigt. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290) Beim Präferenztraining von Sprachmodellen soll sie verhindern, dass die Optimierung eines Belohnungssignals das Antwortverhalten zu weit vom Referenzmodell entfernt. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155)

## Abweichung von welchem Ausgangspunkt?

Die Abkürzung KL steht für Kullback-Leibler; die zugehörige Divergenz wird in den beschriebenen Trainingszielen zwischen Modellverteilungen berechnet. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290) Gemeint ist also keine bloße Anzahl geänderter Wörter oder ein direkter Abstand zwischen Modellparametern. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290)

In der InstructGPT-Pipeline dient das zuvor überwacht angepasste Modell als Referenz für die RL-Phase. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155) Das Trainingsziel verbindet eine gute Bewertung der erzeugten Antwort mit einer Strafe für Abweichungen von dieser Referenz. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155)

Ein Gewichtungsfaktor legt fest, wie stark beide Ziele gegeneinander abgewogen werden. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290) Die Strafe ist dabei Teil der Optimierungsaufgabe und keine pauschale Garantie, dass jede einzelne Antwort innerhalb einer festen erlaubten Abweichung bleibt. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290)

## So kannst du dir das vorstellen

Stell dir einen hypothetischen Assistenten vor, dessen Ausgangsverhalten bereits brauchbar ist. Ein neues Bewertungsmodell bevorzugt allerdings besonders ausführliche Antworten.

Du möchtest diesen Hinweis berücksichtigen, ohne das gesamte Antwortverhalten nur auf diesen einen Maßstab auszurichten. Eine KL-Strafe ähnelt in dieser Analogie einer zusätzlichen Kostenposition für zu starke Verschiebungen gegenüber dem Ausgangsmodell.

Die Analogie hat eine Grenze: Es gibt dabei keinen menschlichen Prüfer, der jede Formulierung mit einer früheren Antwort vergleicht. Der beschriebene Mechanismus arbeitet mit Wahrscheinlichkeiten innerhalb des Trainingsziels.

## Nicht jede Referenz erfüllt dieselbe Aufgabe

PPO vergleicht bei einem Update unter anderem die neue Policy mit derjenigen, die die Trainingsdaten erzeugt hat. [Schulman et al.: PPO](https://arxiv.org/pdf/1707.06347) Die zusätzliche RLHF-Referenz aus dem überwachten Training erfüllt dagegen eine längerfristige Rückhaltefunktion. [Ouyang et al.: InstructGPT](https://arxiv.org/pdf/2203.02155)

Auch DPO leitet sein Ziel aus einer präferenzbasierten Optimierung mit KL-Regularisierung ab, ohne dafür ein separates Reward Model zu benötigen. [Rafailov et al.: DPO](https://arxiv.org/pdf/2305.18290) Der Begriff beschreibt somit ein Prinzip der Trainingsgestaltung, nicht einen eigenständigen Nachweis für sichere oder richtige Antworten.

## Verwandte Begriffe

**Policy**, **PPO**, **RLHF**, **DPO**, **Regularisierung**.