Training, Daten und Modellanpassung
Compute-Optimal Training
Heißt auch Rechenoptimales Training.
Auswahl von Modellgröße und Datenmenge für ein gegebenes Trainingsrechenbudget.
Compute-Optimal Training sucht eine Kombination aus Modellgröße und Trainingsdatenmenge, die mit einem vorgegebenen Trainingsrechenbudget möglichst gute Ergebnisse auf der gewählten Zielgröße erreicht. (Hoffmann et al.) Die Chinchilla-Arbeit untersucht genau diese Aufteilung für große Sprachmodelle. (Hoffmann et al.)
So kannst du dir das vorstellen
Angenommen, du darfst einen festgelegten Betrag für ein Trainingsprojekt einsetzen. Du könntest ein größeres Modell kürzer trainieren oder ein kleineres Modell mehr Material verarbeiten lassen.
Die Frage lautet dann nicht nur „Wie groß geht es?“, sondern „Welche Kombination liefert innerhalb dieses Rahmens das beste geprüfte Ergebnis?“. Das ist ein schematisches Planungsbeispiel; konkrete Kosten oder Leistungswerte sind darin noch nicht festgelegt.
Das Optimum gehört zu einer Zielfunktion
In der Chinchilla-Untersuchung werden Skalierungsbeziehungen genutzt, um bei festem Rechenbudget Modellparameter und Trainingstokens gemeinsam auszuwählen. (Hoffmann et al.) Der untersuchte Sprachmodellverlust liefert dabei eine messbare Grundlage für den Vergleich. (Hoffmann et al.)
„Optimal“ solltest du deshalb immer mit einer Rückfrage lesen: optimal für welche Zielgröße, unter welchen Annahmen und innerhalb welcher untersuchten Alternativen? Für deinen Betrieb können zusätzliche Anforderungen wie Antwortzeit, Speichergrenzen oder bestimmte Fehlerarten entscheidend sein.
Training ist nicht der gesamte Lebenszyklus
Wenn eine große Zahl späterer Inferenzaufrufe berücksichtigt wird, kann ein kleineres, länger trainiertes Modell bei vergleichbarer Zielqualität niedrigere Gesamtkosten ermöglichen. (Sardana et al.) Eine ausschließlich trainingsoptimale Auswahl ist damit nicht automatisch die kostengünstigste Auswahl über die gesamte Nutzung.
Trenne in deiner Planung deshalb das einmalige Entwicklungsbudget von den erwarteten Betriebskosten. Dokumentiere die angenommene Nutzungsmenge und prüfe die fachliche Qualität des Kandidaten zusätzlich auf realistischen Aufgaben.
So bleibt erkennbar, ob eine Entscheidung eine Forschungszielgröße, eine Hardwaregrenze oder tatsächlich den gesamten vorgesehenen Einsatz optimiert.
Verwandte Begriffe
Passend dazu sind Scaling Laws, Chinchilla Scaling, Overtraining, Loss und Inference.