Reinforcement Learning from AI Feedback

Reinforcement Learning from AI Feedback, kurz RLAIF, verwendet KI-erzeugte Bewertungen als Rückmeldung für bestärkendes Lernen. Anthropic: Constitutional AI In der zugrunde liegenden Arbeit beurteilt eine KI Antwortalternativen, statt für diese Präferenzurteile ausschließlich menschliche Bewertungen einzuholen. Anthropic: Constitutional AI

KI bewertet KI-Antworten

Im Constitutional-AI-Verfahren werden zunächst Antwortpaare erzeugt und anhand vorgegebener Prinzipien durch ein Modell bewertet. Anthropic: Constitutional AI Mit diesen KI-Präferenzen wird ein Bewertungsmodell trainiert, das anschließend die Belohnungen für die RL-Anpassung des antwortenden Modells liefert. Anthropic: Constitutional AI

RLAIF beschreibt damit die Herkunft des bewertenden Feedbacks; das Feedback ist nicht selbst bereits der Optimierungsalgorithmus. Anthropic: Constitutional AI Ebenso ist nicht jeder KI-generierte Trainingssatz ein RLAIF-Beispiel: Die zugrunde liegende Arbeit trennt ausdrücklich die überwachte Anpassung an überarbeitete Antworten von der späteren RL-Phase mit KI-Präferenzen. Anthropic: Constitutional AI

Menschen verschwinden durch dieses Vorgehen nicht aus der Zieldefinition, denn die verwendeten Verhaltensprinzipien werden weiterhin vorgegeben. Anthropic: Constitutional AI Die Auswahl dieser Prinzipien ist deshalb etwas anderes als die automatisierte Bewertung einzelner Antwortpaare. Anthropic: Constitutional AI

So kannst du dir das vorstellen

Angenommen, du entwickelst einen hypothetischen internen Wissensassistenten. Ein bewertendes KI-System erhält die Vorgabe, Antworten zu bevorzugen, die fehlende Informationen offen benennen und keine vertraulichen Daten unnötig wiederholen.

Es vergleicht zwei Antwortentwürfe und liefert daraus ein Präferenzurteil. Viele solcher Urteile könnten als Ausgangsmaterial für den beschriebenen Trainingsweg dienen.

Du würdest trotzdem stichprobenartig kontrollieren wollen, ob die KI diese Regeln sinnvoll anwendet. Eine formal passende Begründung wäre in diesem Beispiel noch kein Ersatz für eine fachliche Prüfung der Antwort.

Nicht mit Selbstverbesserung verwechseln

Das Constitutional-AI-Verfahren enthält klar definierte Erzeugungs-, Bewertungs- und Trainingsschritte, keine voraussetzungslose automatische Verbesserung eines Modells. Anthropic: Constitutional AI Sein erklärtes Ziel ist außerdem hilfreiche, möglichst unschädliche Kommunikation statt eines bloßen Ausweichens vor schwierigen Fragen. Anthropic: Constitutional AI

Verwandte Begriffe

RLHF, Constitutional AI, Preference Alignment, Reward Model, Synthetische Daten.