Chinchilla Scaling

Chinchilla Scaling bezeichnet den aus der Chinchilla-Arbeit abgeleiteten Ansatz, Modellgröße und Trainingsdatenmenge gemeinsam auf ein Rechenbudget abzustimmen. (Hoffmann et al.) Die Untersuchung von 2022 kam zu dem Ergebnis, dass viele damalige große Sprachmodelle im Verhältnis zu ihrer Größe mit zu wenig Daten trainiert wurden. (Hoffmann et al.)

So kannst du dir das vorstellen

Stell dir zwei Hebel für ein Lernprojekt vor: die Größe der Lernmaschine und die Menge des bearbeiteten Materials. Dein Budget reicht nicht dafür, beide beliebig weit zu erhöhen.

Du suchst deshalb eine passende Kombination, statt grundsätzlich die größte mögliche Maschine zu wählen. In diesem Bild fragt Chinchilla danach, ob ein kleineres Modell mit mehr Trainingsmaterial das verfügbare Budget günstiger nutzen kann.

Was „gemeinsam skalieren“ bedeutet

Für compute-optimales Training empfiehlt die Arbeit in ihren untersuchten Bedingungen, Modellgröße und Zahl der Trainingstokens ungefähr gleichmäßig mitwachsen zu lassen. (Hoffmann et al.) Wenn bei wachsendem Gesamtbudget die Parameterzahl verdoppelt wird, soll nach dieser Skalierung auch die Trainingsmenge ungefähr verdoppelt werden. (Hoffmann et al.)

Das bedeutet ausdrücklich nicht, dass sich beide Größen bei unverändertem Budget kostenlos verdoppeln lassen. Die Regel beschreibt eine Entwicklung entlang einer Budgetkurve, nicht die Aufhebung des Rechenaufwands.

Welche Kosten die Aussage umfasst

Das betrachtete Optimum bezieht sich auf Training, Modellgröße und Datenmenge unter einem vorgegebenen Trainingsrechenbudget. (Hoffmann et al.) Spätere Arbeiten zeigen, dass bei zusätzlicher Berücksichtigung vieler Inferenzaufrufe kleinere, länger trainierte Modelle wirtschaftlich attraktiver sein können. (Sardana et al.)

Verwende Chinchilla deshalb als einflussreiches Planungsergebnis mit Annahmen, nicht als unveränderliche Tokenpflicht für jedes Modell. Für eine konkrete Entscheidung sollten Datenqualität, Trainingsverfahren und erwartete Nutzung gesondert betrachtet werden.

Verwandte Begriffe

Die Zusammenhänge erklären Scaling Laws, Compute-Optimal Training, Overtraining, Pretraining und Token.