Training, Daten und Modellanpassung
Post-training
Heißt auch Posttraining.
Nachgelagerte Anpassung eines vortrainierten Modells; Oberbegriff mit variablem Umfang.
Post-training ist ein Oberbegriff für nachgelagerte Trainingsschritte, die ein vortrainiertes Modell für den vorgesehenen Einsatz anpassen. (Allen AI: OLMo 3) Dazu können Training mit Musterantworten, Lernen aus Antwortpräferenzen und Reinforcement Learning gehören; ein dokumentiertes Beispiel bietet OLMo 3. (Allen AI: OLMo 3)
So kannst du dir das vorstellen
Angenommen, du hast ein Modell mit einer breiten sprachlichen Grundlage. Für einen Serviceassistenten möchtest du darüber hinaus, dass es Aufträge sauber befolgt, im gewünschten Format antwortet und bei bestimmten Anfragen angemessen reagiert.
Du könntest dafür gute Antwortbeispiele zusammenstellen und alternative Antworten bewerten lassen. Die Vorstellung ähnelt einer Einarbeitung in einen konkreten Arbeitsablauf, ohne dass das Modell dadurch menschliche Verantwortung oder ein Verständnis deiner Unternehmensziele erhält.
Unterschiedliche Lernsignale
Beim Supervised Fine-Tuning bekommt das Modell Eingaben mit den gewünschten Ausgaben als Trainingsbeispiele. (Hugging Face LLM Course) Im OLMo-3-Projekt werden daneben Präferenzoptimierung und Reinforcement Learning mit überprüfbaren Belohnungen als Teile nachgelagerter Trainingsverfahren beschrieben. (Allen AI: OLMo 3)
Diese Verfahren sollten nicht als austauschbare Namen für denselben Rechenschritt behandelt werden. Ein Mustertext, eine bevorzugte Antwort und eine rechnerisch prüfbare Aufgabe liefern unterschiedliche Arten von Rückmeldung.
Nach dem Vortraining ist nicht nach der Bereitstellung
Das „Post“ bezieht sich auf die Stellung im Trainingsablauf; bei OLMo 3 entstehen daraus eigene angepasste Modellvarianten auf Basis der vorherigen Checkpoints. (Allen AI: OLMo 3) Es bedeutet nicht automatisch, dass ein ausgelieferter Assistent bei jeder Unterhaltung seine Gewichte verändert.
Wenn ein Anbieter mit „umfangreichem Post-training“ wirbt, frage nach den tatsächlich eingesetzten Verfahren, Zielaufgaben und Evaluationen. Prüfe außerdem, ob die für dich wichtigen Grundfähigkeiten erhalten geblieben sind und ob das verbesserte Verhalten auch bei neuen, anders formulierten Eingaben sichtbar wird.
Verwandte Begriffe
Zur Einordnung gehören Pretraining, Supervised Fine-Tuning, Instruction Tuning, Preference Alignment und Reinforcement Learning.