Alignment, Präferenzlernen und Reinforcement Learning
Verifier
Heißt auch Verifikator.
Prüfer für die Korrektheit erzeugter Ergebnisse.
Ein Verifier ist eine Prüfkomponente, die erzeugte Antworten oder Lösungen auf bestimmte Korrektheitskriterien hin bewertet. Cobbe et al.: Training Verifiers Im Sprachmodellkontext kann damit ein gelerntes Bewertungsmodell gemeint sein; bei überprüfbaren Trainingsaufgaben werden außerdem festgelegte Verifikationsfunktionen eingesetzt. Allen AI: Tülu 3
Prüfen kann Unterschiedliches bedeuten
Eine regelbasierte Prüfung kann beispielsweise eine mathematische Endantwort mit einem bekannten Ergebnis abgleichen. Allen AI: Tülu 3 Ein gelernter Verifier soll dagegen aus Trainingsbeispielen vorhersagen, welche neuen Lösungsvorschläge richtig sind. Cobbe et al.: Training Verifiers
Cobbe und Mitautoren beschreiben ein Verfahren, bei dem ein Sprachmodell mehrere Lösungen für eine Mathematikaufgabe erzeugt und anschließend der vom Verifier am höchsten bewertete Kandidat ausgewählt wird. Cobbe et al.: Training Verifiers Diese Prüfung findet bei der Antwortauswahl statt und ist nicht bereits selbst ein Trainingsupdate des erzeugenden Modells. Cobbe et al.: Training Verifiers
Andere Trainingsverfahren verwenden das Ergebnis einer Verifikationsfunktion ausdrücklich als Belohnung für die Modellanpassung. Allen AI: Tülu 3 Die Rolle „prüfen“ und die spätere Verwendung des Prüfergebnisses solltest du daher getrennt betrachten. Allen AI: Tülu 3
So kannst du dir das vorstellen
Ein hypothetischer Assistent erstellt mehrere Kalkulationsvorschläge. Eine Prüfroutine kontrolliert zunächst, ob die ausgewiesene Gesamtsumme zu den vorgegebenen Positionen passt.
Alternativ könntest du einen trainierten Bewerter einsetzen, der vollständige Lösungstexte nach ihrer vermuteten Korrektheit einordnet. Beide Komponenten wären Prüfer, aber ihre Aussagen hätten unterschiedliche Grundlagen.
Im ersten Fall müsstest du wissen, welche konkrete Rechenregel geprüft wurde. Im zweiten Fall würde dich zusätzlich interessieren, anhand welcher Beispiele der Bewerter gelernt hat und wie häufig er sich bei neuen Fällen irrt.
Der Prüfumfang zählt
Ein positiver Endantwortabgleich beweist nicht, dass jeder Zwischenschritt richtig ist. Lightman et al.: Let's Verify Step by Step Ebenso kann eine formale Prüfung Anforderungen auslassen, die für das eigentlich beabsichtigte Ergebnis entscheidend sind. Google DeepMind: Specification Gaming
Die Bezeichnung Verifier allein sagt deshalb wenig darüber aus, was tatsächlich abgesichert wird. Für eine technische Dokumentation würde ich Eingaben, Prüfkriterien, mögliche Fehler und den Umgang mit unklaren Ergebnissen ausdrücklich festhalten.
Verwandte Begriffe
RLVR, Reward Model, Process Reward Model, Outcome Reward Model, Specification Gaming.