Reward

Ein Reward ist ein numerisches Belohnungssignal, das im Reinforcement Learning eine Situation oder Handlung bewertet. OpenAI: Grundlagen des Reinforcement Learning Das lernende System soll sein Verhalten so anpassen, dass die erwartete kumulierte Belohnung möglichst hoch ausfällt. OpenAI: Grundlagen des Reinforcement Learning

Zahl statt menschliches Lob

Ein Reward kann von der aktuellen Situation, der ausgeführten Aktion und dem daraus entstandenen Folgezustand abhängen. OpenAI: Grundlagen des Reinforcement Learning Bei Sprachmodellen kann beispielsweise ein trainiertes Bewertungsmodell einer vollständigen Antwort einen Zahlenwert zuweisen. Ouyang et al.: InstructGPT

Eine andere Möglichkeit ist ein überprüfbares Aufgabenkriterium, etwa der Abgleich einer mathematischen Endantwort mit einer bekannten Lösung. Allen AI: Tülu 3 Ob das Signal aus einer programmierten Prüfung oder einem gelernten Modell stammt, verändert seine Bedeutung und seine möglichen Fehlerquellen. Allen AI: Tülu 3

Die einzelne Belohnung ist vom sogenannten Return zu unterscheiden: Dieser fasst Belohnungen über einen Ablauf zusammen und kann weiter entfernte Ergebnisse geringer gewichten. OpenAI: Grundlagen des Reinforcement Learning Ein Lernverfahren kann deshalb eine Handlung bevorzugen, die sich erst später auszahlt. OpenAI: Grundlagen des Reinforcement Learning

So kannst du dir das vorstellen

Für einen hypothetischen Terminassistenten definierst du zunächst: Ein korrekt eingetragener Termin gibt einen Punkt, eine Doppelbuchung einen Minuspunkt. Ein bloß freundlich formulierter Text bringt in diesem vereinfachten Beispiel noch keinen Punkt.

Damit hast du eine messbare Bewertung festgelegt. Du hast aber beispielsweise noch nicht berücksichtigt, ob der Kunde dem Termin zugestimmt hat oder ob ausreichend Zeit für die Anfahrt bleibt.

Gerade diese Lücke ist die entscheidende Frage bei einer Belohnungsdefinition: Welche wichtige Anforderung fehlt in der Zahl? Das Beispiel ist bewusst keine Empfehlung für eine vollständige Bewertungsfunktion.

Ein hoher Wert ist kein Qualitätsbeweis

Wenn ein leicht messbarer Ersatzwert das eigentliche Ziel unvollständig abbildet, kann seine Optimierung unerwünschtes Verhalten fördern. OpenAI: Faulty Reward Functions Ein Reward aus einem Präferenzmodell ist zudem zunächst dessen Bewertung einer Antwort und keine automatisch kalibrierte Wahrscheinlichkeit ihrer sachlichen Richtigkeit. Ouyang et al.: InstructGPT

Für einen praktischen Test würde ich deshalb Belohnungswert und tatsächlichen Aufgabenerfolg getrennt beobachten. Sonst bleibt möglicherweise unsichtbar, dass nur der Messwert besser wird.

Verwandte Begriffe

Reinforcement Learning, Reward Model, RLVR, Reward Hacking, Policy.