Training, Daten und Modellanpassung
Learning Rate
Heißt auch Lernrate.
Schrittweite der Parameteranpassung beim Lernen.
Die Learning Rate oder Lernrate steuert, wie stark Parameter beim gradientenbasierten Training angepasst werden. (Google ML Glossary) Beim einfachen Gradientenabstieg skaliert sie den berechneten Gradienten und damit die Größe des Parameterschritts. (Google ML Glossary)
So kannst du dir das vorstellen
Stell dir vor, du suchst auf einer unebenen Fläche eine tiefere Stelle. Du weißt ungefähr, in welche Richtung du gehen solltest; die Lernrate bestimmt im Bild, wie groß dein nächster Schritt ausfällt.
Mit winzigen Schritten kommst du nur langsam voran. Mit übergroßen Schritten könntest du geeignete Stellen immer wieder überspringen. Das Bild beschreibt die Schrittweite, nicht die Qualität der Trainingsdaten oder das Ziel, das du mit dem Modell erreichen möchtest.
Zu klein und zu groß können problematisch sein
Eine zu niedrige Lernrate kann das Training stark verlangsamen, während eine zu hohe Lernrate die Konvergenz erschweren kann. (Google ML Glossary) Konvergenz meint dabei die Annäherung an einen Zustand, in dem sich die beobachtete Zielgröße nur noch wenig verändert. (Google ML Glossary)
Die Lernrate gehört zu den Hyperparametern und ist nicht selbst eines der gewöhnlichen Modellgewichte. (Google ML Glossary) Optimierungswerkzeuge können sie außerdem über einen Zeitplan während des Trainings verändern. (PyTorch Optimizers)
Kein universeller guter Zahlenwert
Für einen Versuch würde ich die Lernrate zusammen mit Optimierer, Daten, Batch-Konfiguration und Umfang der trainierbaren Gewichte dokumentieren. Vergleiche geeignete Einstellungen anhand derselben Validierungsaufgaben, statt einen einzelnen Zahlenwert aus einem fremden Projekt zu übernehmen.
Wenn ein Lauf nicht besser wird, prüfe mehr als nur diesen Regler. Underfitting kann beispielsweise auch durch ungeeignete Eingabemerkmale, zu wenige Trainingsdurchläufe oder zu starke Regularisierung entstehen. (Google ML Glossary) Die Lernrate ist wichtig, aber keine universelle Reparatureinstellung.
Verwandte Begriffe
Eng verbunden sind Gradient Descent, Optimizer, Hyperparameter, Loss und Underfitting.