Grundbegriffe und Modelltypen
Causal Language Model
Heißt auch CLM oder Kausales Sprachmodell.
Sprachmodell, das bei der Vorhersage keine späteren Tokens nutzt.
Ein Causal Language Model sagt das nächste Token anhand der vorhergehenden Tokens voraus, ohne spätere Positionen der Folge für diese Vorhersage zu verwenden. (Hugging Face) „Causal“ beschreibt hier eine Beschränkung des Informationszugriffs innerhalb der Sequenz. (Google)
So kannst du dir das vorstellen
Du sollst den nächsten Teil eines Satzes erraten. Den bisherigen Satzanfang darfst du lesen, der Rest des Blatts ist abgedeckt.
Bei „Bitte senden Sie uns die …“ könntest du mehrere Fortsetzungen vorschlagen. Du darfst aber nicht unter die Abdeckung schauen und daraus ablesen, dass auf dem Blatt bereits „Rechnung“ steht.
Diese Abdeckung entspricht im vereinfachten Bild der kausalen Maske. Sie verhindert, dass bei einer Vorhersage Informationen aus späteren Positionen sichtbar werden. (Hugging Face)
Warum eine Maske gebraucht wird
Im Training können ganze Textfolgen verarbeitet werden, während eine Maske den Zugriff auf zukünftige Tokens an der jeweiligen Position blockiert. (Hugging Face) Das Modell soll die Vorhersage aus dem erlaubten Kontext lernen und nicht die richtige Antwort von einer späteren Stelle übernehmen.
Die Bezeichnung wirkt dadurch komplizierter als ihre Kernidee: Für diese Vorhersage ist nur der bisherige Teil der Folge zugelassen.
„Kausal“ heißt hier nicht Ursachen verstehen
Aus diesem technischen Namen sollte man nicht ableiten, das Modell könne zuverlässig Ursache und Wirkung in der Welt erklären. Der Begriff benennt in diesem Zusammenhang die Richtung der verfügbaren Textinformation. (Google, Hugging Face)
Wenn ein System beispielsweise erklären soll, warum eine Maschine ausgefallen ist, würdest du diese Diagnose gesondert prüfen. Die Eigenschaft „causal language model“ wäre dafür kein fachlicher Nachweis.
Verwandte Begriffe
Autoregressives Modell, Causal Attention, Attention Mask, Decoder-only Model und Masked Language Model gehören zum direkten Umfeld. Beim Vergleich mit Masked Language Modeling geht es vor allem darum, welcher Kontext für die Vorhersage genutzt werden darf.