Reinforcement Learning

Reinforcement Learning, kurz RL, ist ein Lernverfahren, bei dem ein handelndes System sein Verhalten anhand von Belohnungssignalen verbessert. OpenAI: Grundlagen des Reinforcement Learning Ziel ist eine möglichst hohe erwartete Gesamtbelohnung über einen betrachteten Ablauf, nicht notwendigerweise die höchste unmittelbare Belohnung bei jedem einzelnen Schritt. OpenAI: Grundlagen des Reinforcement Learning

Handeln, bewerten, anpassen

Das handelnde System heißt Agent; seine Umgebung liefert Beobachtungen und reagiert auf Aktionen. OpenAI: Grundlagen des Reinforcement Learning Eine sogenannte Policy bestimmt, welche Aktion der Agent in einer Situation auswählt beziehungsweise mit welcher Wahrscheinlichkeit er sie auswählt. OpenAI: Grundlagen des Reinforcement Learning

Aus durchgeführten Abläufen und erhaltenen Belohnungen berechnet das Lernverfahren Anpassungen dieser Entscheidungsregel. OpenAI: Grundlagen des Reinforcement Learning Bei tiefem Reinforcement Learning wird die Policy häufig durch ein neuronales Netz dargestellt, dessen veränderbare Parameter das Verhalten beeinflussen. OpenAI: Grundlagen des Reinforcement Learning

Bei Sprachmodellen kann eine erzeugte Antwort bewertet und diese Bewertung für die weitere Anpassung des Modells genutzt werden. Ouyang et al.: InstructGPT Im beschriebenen InstructGPT-Verfahren stammt dieses Signal von einem Bewertungsmodell, das zuvor menschliche Antwortpräferenzen gelernt hat. Ouyang et al.: InstructGPT

So kannst du dir das vorstellen

Stell dir eine simulierte Lagerumgebung vor, in der ein hypothetischer Roboter unterschiedliche Wege zu einem Regal ausprobiert. Sein Bewertungssystem belohnt die erfolgreiche Abholung und berücksichtigt zusätzlich Zeitaufwand und Zusammenstöße.

Ein kurzer Umweg könnte dann sinnvoller sein als die direkte Route durch ein Hindernis. Entscheidend wäre nicht der erste scheinbar günstige Schritt, sondern der gesamte bewertete Ablauf.

Das Beispiel veranschaulicht die Lernaufgabe, nicht eine vorgeschriebene Umsetzung. Welche Situationen er ausprobiert und wie daraus Änderungen entstehen, müsste das konkrete Verfahren festlegen.

Die Belohnung setzt die Richtung

Ein ungünstig definiertes Belohnungssignal kann Verhalten fördern, das einen Messwert verbessert, aber am eigentlichen Ziel vorbeigeht. OpenAI: Faulty Reward Functions RL löst deshalb nicht automatisch die Frage, was ein System tun sollte; die Aufgaben- und Belohnungsdefinition bleibt entscheidend. Google DeepMind: Specification Gaming

Außerdem sind das Erzeugen einer Antwort und ein Trainingsupdate getrennte Vorgänge: In der RLHF-Pipeline werden Antworten gesammelt, bewertet und anschließend für die Optimierung verwendet. Ouyang et al.: InstructGPT

Verwandte Begriffe

Policy, Reward, Trajectory, RLHF, Reward Hacking.