---
term: "Masked Language Model"
slug: "masked-language-model"
glossar_id: "G023"
variants: ["MLM","Maskiertes Sprachmodell"]
category: "grundbegriffe-und-modelltypen"
marker: ""
short: "Sprachmodell, das verdeckte beziehungsweise beschädigte Tokens vorhersagt."
sources:
  - label: "Hugging Face"
    url: "https://huggingface.co/docs/transformers/en/glossary"
  - label: "Google"
    url: "https://developers.google.com/machine-learning/glossary"
status: "entwurf"
updated: "2026-09-20"
---

Ein Masked Language Model wird darauf trainiert, verdeckte oder veränderte Tokens in einer Textfolge aus dem vorhandenen Kontext zu rekonstruieren. ([Hugging Face](https://huggingface.co/docs/transformers/en/glossary)) Häufig kann es dabei sowohl den Text vor als auch nach der gesuchten Stelle berücksichtigen. ([Google](https://developers.google.com/machine-learning/glossary))

## So kannst du dir das vorstellen

„Bitte bringen Sie zur Abholung Ihren … mit, damit wir Ihre Identität prüfen können.“

Das ist ein Lückentext. Der spätere Satzteil hilft dabei, eine passende Ergänzung zu finden. In unserem Beispiel wäre „Ausweis“ eine plausible Lösung.

Das Modell bearbeitet eine verwandte Aufgabe mit Tokens, wobei die ursprünglichen Textstellen für das Training bekannt sind. ([Hugging Face](https://huggingface.co/docs/transformers/en/glossary)) Das Beispiel zeigt lediglich das Prinzip; die Lücke in einem Trainingsverfahren muss nicht genau einem vollständigen Wort entsprechen.

## Wozu dient diese Übung?

Das Rekonstruieren maskierter Stellen kann beim Vortraining von Encodermodellen verwendet werden, damit diese aussagekräftige Repräsentationen der Eingabe bilden. ([Hugging Face](https://huggingface.co/docs/transformers/en/glossary)) BERT ist ein bekanntes Beispiel für eine Architektur mit einem solchen Vortraining. ([Google](https://developers.google.com/machine-learning/glossary))

Die Lückenübung ist dabei nicht zwingend die spätere Produktfunktion. Ein entsprechend vorbereitetes Modell kann als Grundlage für eine weitere Aufgabe dienen, beispielsweise die Klassifikation von Texten. ([Google](https://developers.google.com/machine-learning/glossary))

Für einen betrieblichen Einsatz könntest du dir die Vorübung wie eine Vorbereitung auf spätere Textauswertung vorstellen. Du würdest das fertige System dann an der eigentlichen Aufgabe messen, etwa daran, ob Kundenanliegen richtig zugeordnet werden.

## Unterschied zur Vorhersage des nächsten Tokens

Beim kausalen Sprachmodell dürfen spätere Positionen für die jeweilige Vorhersage nicht verwendet werden; beim üblichen bidirektionalen Masked Language Modeling kann Kontext auf beiden Seiten helfen. ([Google](https://developers.google.com/machine-learning/glossary), [Hugging Face](https://huggingface.co/docs/transformers/en/glossary)) Es handelt sich also um unterschiedliche Lernaufgaben.

Der Unterschied erklärt, weshalb „füllt Lücken“ und „schreibt eine Antwort von links nach rechts“ nicht automatisch dieselbe Beschreibung eines Modells sind. Für die Einordnung sollte klar sein, ob von der Trainingsaufgabe oder der späteren Verwendung gesprochen wird.

## Verwandte Begriffe

**BERT**, **Encoder-only Model**, **Causal Language Model**, **Self-Supervised Learning**, **Pretraining** und **Diffusionssprachmodell** schließen hier an. Maskierung kommt auch in anderen Verfahren vor und legt allein noch keine vollständige Architektur fest.