---
term: "Continued Pretraining"
slug: "continued-pretraining"
glossar_id: "G097"
variants: ["Continual Pretraining","CPT"]
category: "training-daten-und-modellanpassung"
marker: "Technik"
short: "Fortgesetztes Sprachmodelltraining auf zusätzlichen Daten."
sources:
  - label: "Gururangan et al."
    url: "https://arxiv.org/abs/2004.10964"
  - label: "Hugging Face Glossary"
    url: "https://huggingface.co/docs/transformers/en/glossary"
  - label: "Hugging Face LLM Course"
    url: "https://huggingface.co/learn/llm-course/en/chapter11/3"
  - label: "Kirkpatrick et al."
    url: "https://pmc.ncbi.nlm.nih.gov/articles/PMC5380101/"
status: "entwurf"
updated: "2026-09-20"
---

Continued Pretraining, kurz CPT, ist die Fortsetzung des Vortrainings eines bereits vorhandenen Modells mit zusätzlichen Daten. ([Gururangan et al.](https://arxiv.org/abs/2004.10964)) Ein konkretes Muster ist das Weitertrainieren eines Sprachmodells auf Texten aus einem bestimmten Fachgebiet, wie es bei Domain-Adaptive Pretraining untersucht wurde. ([Gururangan et al.](https://arxiv.org/abs/2004.10964))

## So kannst du dir das vorstellen

Angenommen, ein allgemeines Sprachmodell soll technische Wartungsunterlagen besser verarbeiten. Du stellst einen geeigneten Bestand an Handbüchern und Fachtexten zusammen und setzt das Sprachmodelltraining darauf fort.

Das wäre etwas anderes, als bei jeder Frage ein passendes Handbuchkapitel in die Eingabe zu legen. Im Beispiel veränderst du die Grundlage des Modells durch weiteres Training; du baust nicht lediglich ein Nachschlagefenster für den aktuellen Auftrag.

## Sprachmaterial statt fertiger Dialoge

Bei selbstüberwachtem Sprachmodelltraining werden die Zielwerte aus dem Text gewonnen, etwa durch die Vorhersage des nächsten Tokens. ([Hugging Face Glossary](https://huggingface.co/docs/transformers/en/glossary)) SFT arbeitet dagegen mit Beispielen gewünschter Eingaben und Ausgaben, beispielsweise Anweisung und Musterantwort. ([Hugging Face LLM Course](https://huggingface.co/learn/llm-course/en/chapter11/3))

Die Untersuchung zu domänenadaptivem Vortraining zeigt, dass zusätzliches fachbezogenes Vortraining spätere Aufgaben verbessern kann; daraus folgt jedoch keine Erfolgsgarantie für jeden Datenbestand oder jedes Modell. ([Gururangan et al.](https://arxiv.org/abs/2004.10964)) Plane einen Vergleich mit dem Ausgangsmodell ein, statt den zusätzlichen Trainingslauf selbst als Qualitätsnachweis zu werten.

## Neues Material, alte Fähigkeiten

Weiteres Training auf neuen Aufgaben kann zuvor gelernte Fähigkeiten beeinträchtigen, ein als Catastrophic Forgetting bekanntes Problem. ([Kirkpatrick et al.](https://pmc.ncbi.nlm.nih.gov/articles/PMC5380101/)) Prüfe deshalb neben den neuen Fachaufgaben auch wichtige bisherige Fähigkeiten.

Dokumentiere zudem Datenstand, Mischung und Ausgangscheckpoint. Für wechselnde Preise oder verbindliche aktuelle Vorgaben würde ich eine überprüfbare Informationsquelle zusätzlich vorsehen, statt das Trainingsmaterial als verlässliches Archiv einzelner Fakten zu behandeln.

## Verwandte Begriffe

Hilfreiche Anschlussbegriffe sind **Pretraining**, **Domain-Adaptive Pretraining**, **Self-Supervised Learning**, **Supervised Fine-Tuning** und **Catastrophic Forgetting**.