Grundbegriffe und Modelltypen
BERT
Heißt auch Bidirectional Encoder Representations from Transformers.
Bidirektionale Transformer-Encoder-Architektur zur Textrepräsentation.
BERT steht für „Bidirectional Encoder Representations from Transformers“ und bezeichnet eine Transformer-Architektur zur Darstellung von Text in kontextabhängigen Zahlenrepräsentationen. (Google) Sie verwendet den Encoder-Teil des Transformers und berücksichtigt dabei Kontext auf beiden Seiten einer Textstelle. (Google)
So kannst du dir das vorstellen
Vergleiche die Sätze „Sie wartet auf der Bank“ und „Sie wartet auf der Bank neben dem Spielplatz“. Der spätere Satzteil kann helfen, die Bedeutung von „Bank“ einzugrenzen.
Stell dir nun eine Leseaufgabe vor, bei der das ganze Blatt vor dir liegt. Du darfst nach links und rechts schauen, bevor du eine Stelle beurteilst. Dieses Bild passt zur bidirektionalen Verarbeitung: Eine Position wird im Zusammenhang mit vorangehenden und nachfolgenden Positionen betrachtet. (Google)
Damit ist noch keine menschliche Lektüre beschrieben. Es geht darum, welche Teile einer Eingabe für die mathematische Repräsentation zur Verfügung stehen.
Was BERT mit einem Text macht
BERT erzeugt Repräsentationen, die in weiteren Modellkomponenten für Aufgaben wie Textklassifikation verwendet werden können. (Google) Ein denkbarer betrieblicher Einsatz wäre, Nachrichten den Kategorien „Lieferung“, „Rechnung“ oder „Termin“ zuzuordnen.
Die Architektur liefert dabei zunächst die Grundlage für die Verarbeitung. Die gewünschte Kategorie entsteht über die dafür vorgesehene Aufgabenkomponente und entsprechende Anpassung. (Google, Hugging Face)
Was hat das mit Lückentexten zu tun?
Zu BERTs ursprünglichem Vortraining gehört Masked Language Modeling: Textstellen werden verdeckt, und das Modell soll die ursprünglichen Tokens vorhersagen. (Google) Als Übungsbild kannst du einen Satz mit einer Lücke verwenden, dessen Lösung sich aus dem restlichen Satz erschließen soll.
Diese Lernaufgabe erklärt auch den Unterschied zu einem Modell, das ausschließlich die nächste Einheit am Textende vorhersagt. Bei einem Lückentext kann bereits rechts von der gesuchten Stelle weiterer Kontext stehen. (Hugging Face)
Verwandte Begriffe
Vertiefend passen Encoder-only Model, Masked Language Model, Transformer, Embedding und Natural Language Understanding. Der Vergleich mit einem Causal Language Model macht die unterschiedlichen Kontextregeln sichtbar.