---
term: "Overtraining"
slug: "overtraining"
glossar_id: "G134"
variants: []
category: "training-daten-und-modellanpassung"
marker: "Uneinheitlich"
short: "Hier: Training über einen compute-optimalen Datenpunkt hinaus, etwa für günstigere spätere Inferenz."
sources:
  - label: "Sardana et al."
    url: "https://arxiv.org/abs/2401.00448"
  - label: "Google ML Glossary"
    url: "https://developers.google.com/machine-learning/glossary"
status: "entwurf"
updated: "2026-09-20"
---

Overtraining meint hier das Training eines Modells mit mehr Tokens, als eine ausschließlich am Trainingsrechenbudget orientierte Skalierungsregel für diese Modellgröße nahelegen würde. ([Sardana et al.](https://arxiv.org/abs/2401.00448)) Ein Grund dafür kann sein, ein kleineres Modell länger zu trainieren, um viele spätere Inferenzaufrufe günstiger bedienen zu können. ([Sardana et al.](https://arxiv.org/abs/2401.00448))

## So kannst du dir das vorstellen

Stell dir zwei mögliche Maschinen für einen häufig wiederkehrenden Auftrag vor. Die größere wäre mit weniger Vorbereitung einsatzbereit, verursacht aber bei jeder Nutzung mehr Aufwand.

Bei der kleineren investierst du mehr in die Vorbereitung und hoffst, diesen Mehraufwand durch viele günstigere spätere Einsätze auszugleichen. Das Bild erklärt einen Kostenkompromiss; ob er sich wirklich lohnt, hängt von der erwarteten Nutzungsmenge und der erreichten Qualität ab.

## Nicht dasselbe wie Überanpassung

Overfitting bedeutet, dass ein Modell die Trainingsdaten zu eng nachbildet und auf neuen Daten schlechter funktioniert. ([Google ML Glossary](https://developers.google.com/machine-learning/glossary)) Das hier verwendete Overtraining beschreibt dagegen eine Verschiebung der Ressourcenverteilung über das rein trainingsoptimale Verhältnis hinaus. ([Sardana et al.](https://arxiv.org/abs/2401.00448))

Mehr Trainingstokens bedeuten dabei nicht zwangsläufig, dass dieselben Beispiele immer häufiger wiederholt werden. Die Frage nach Datenmenge und Rechenbudget solltest du von der Frage nach mehrfachen Epochen über einen festen Datenbestand trennen.

## Wann der zusätzliche Aufwand plausibel ist

Die Untersuchung zu Inferenzkosten zeigt, dass die erwartete spätere Nachfrage die wirtschaftlich günstige Kombination von Modellgröße und Trainingsdauer beeinflusst. ([Sardana et al.](https://arxiv.org/abs/2401.00448)) Sie weist außerdem darauf hin, dass Skalierungskurven aus üblichen Trainingsbereichen bei sehr langen Trainingsverhältnissen ungenau werden können. ([Sardana et al.](https://arxiv.org/abs/2401.00448))

Rechne einen solchen Plan deshalb mit ausdrücklich benannten Annahmen durch. Prüfe Qualität, Trainingsaufwand und Betriebskosten getrennt, statt „länger trainiert“ automatisch als Qualitätsmangel oder als wirtschaftlichen Vorteil zu bewerten.

## Verwandte Begriffe

Die wichtige Abgrenzung liefern **Compute-Optimal Training**, **Chinchilla Scaling**, **Overfitting**, **Epoch** und **Inference**.