Grundbegriffe und Modelltypen
Encoder-only Model
Heißt auch Encoder-Modell oder Reines Encodermodell.
Modell für kontextuelle Repräsentationen, etwa nach dem BERT-Prinzip.
Ein Encoder-only Model verwendet einen Encoder, um eine Eingabe in kontextabhängige numerische Repräsentationen umzuwandeln. (Hugging Face) BERT ist ein Beispiel für eine Architektur, die den Encoder-Teil des Transformers nutzt. (Google)
So kannst du dir das vorstellen
Du liest eine Kundenmail und legst eine interne Notiz an: Was ist das Thema? Welche Stellen gehören zusammen? Welche Informationen sind für die weitere Bearbeitung relevant?
Die Notiz steht hier als Bild für eine Zwischenrepräsentation. Sie ist noch keine Antwort an den Kunden, kann aber die Grundlage für den nächsten Arbeitsschritt sein.
Ein Encoder erzeugt allerdings keine solche handgeschriebene Inhaltsnotiz. Seine Ausgabe besteht aus Zahlenrepräsentationen, die nachfolgende Modellkomponenten weiterverarbeiten können. (Hugging Face)
Wozu diese Repräsentationen dienen
Ein BERT-Encoder kann beispielsweise Teil eines Systems zur Textklassifikation sein; die eigentliche Zuordnung übernimmt eine darauf aufbauende Aufgabenkomponente. (Google) Für unseren Kundenservice könnte die gewünschte Ausgabe „Rechnung“, „Lieferung“ oder „Reklamation“ lauten.
Das hilft bei der Einordnung von Modellen, die keinen langen Antworttext erzeugen. Eine knappe Kategorie oder ein Zahlenvektor kann genau die Ausgabe sein, die ein nachgelagerter Prozess benötigt.
Was bedeutet „only“?
„Only“ bezieht sich auf die Architektur: Das Modell verwendet hier den Encoder-Teil, während andere Transformer-Bauformen einen Decoder oder eine Kombination aus Encoder und Decoder einsetzen. (Google) Es heißt nicht, dass dem fertigen Anwendungssystem jede weitere Komponente fehlen müsste.
Ein zusätzliches Klassifikationsmodul oder eine Suche kann auf den Repräsentationen aufbauen. Halte in einer Dokumentation deshalb fest, wo der Encoder endet und welche Komponenten danach folgen.
Eine typische Trainingsidee
Encoder werden häufig mit Masked Language Modeling vortrainiert, also dem Rekonstruieren verdeckter Teile einer Eingabe. (Hugging Face) Das ist eine mögliche Vorbereitung auf die spätere Verarbeitung, nicht automatisch die sichtbare Funktion des fertigen Produkts.
Verwandte Begriffe
BERT, Embedding, Model Head, Masked Language Model, Decoder-only Model und Encoder-Decoder Model führen zu den Bausteinen und Alternativen. Besonders hilfreich ist der Unterschied zwischen einer internen Repräsentation und einer ausformulierten Antwort.