Training, Daten und Modellanpassung
Hyperparameter
Von außen festgelegte Konfiguration eines Lern- oder Modellverfahrens.
Hyperparameter sind Einstellungen, die das Modell oder sein Lernverfahren konfigurieren, statt wie gewöhnliche Modellgewichte durch die regulären Trainingsupdates gelernt zu werden. (Google ML Glossary) Ein wichtiges Beispiel ist die Lernrate. (Google ML Glossary)
So kannst du dir das vorstellen
Stell dir einen Trainingsplan vor. Du legst fest, wie viele Übungsrunden vorgesehen sind und wie groß die Anpassungen nach einer Runde ausfallen dürfen.
Diese Vorgaben entsprechen im Bild Hyperparametern. Das Ergebnis, das sich innerhalb dieses Plans durch die Übungen verändert, entspricht eher den Modellparametern. Der Plan und das gelernte Ergebnis sollten in einer Dokumentation getrennt auftauchen.
Beispiele aus einer Modellanpassung
Die Lernrate ist ein Hyperparameter, der die Stärke der Parameteränderungen steuert. (Google ML Glossary) Bei LoRA legen Konfigurationswerte unter anderem Rang, Skalierung und die betroffenen Modellschichten fest. (Hugging Face LoRA)
Hyperparameter müssen nicht ausschließlich von Menschen einzeln gewählt werden: Auch automatische Suchverfahren können geeignete Einstellungen ermitteln. (Google ML Glossary) „Von außen konfiguriert“ bedeutet also nicht zwingend „per Hand eingestellt“.
Suchen braucht eine getrennte Bewertung
Validierungsdaten dienen zur wiederholten Bewertung während der Entwicklung, während Testdaten für die Prüfung des ausgewählten Modells zurückgehalten werden. (Google ML Glossary) Nutze diese Trennung auch dann, wenn ein Werkzeug die Suche nach Einstellungen automatisiert.
Für einen überschaubaren Versuch würde ich zunächst wenige begründete Varianten vergleichen und die übrigen Bedingungen konstant halten. Notiere neben den Einstellungen auch Datenversion, Ausgangsmodell und Auswahlkriterium.
Eine Konfiguration ist für dein Projekt erst dann hilfreich, wenn ihre Wirkung nachvollziehbar bleibt. Ein erfolgreiches Ergebnis ohne die zugehörigen Einstellungen lässt sich schlechter vergleichen oder gezielt weiterentwickeln; eine lange Parameterliste ohne unabhängige Qualitätsprüfung ist umgekehrt noch kein Nachweis für ein gutes Modell.
Verwandte Begriffe
Zur Einordnung gehören Model Parameters, Learning Rate, Optimizer, Epoch und Validation Set.