Tokens, Tokenisierung und Nachrichtenformat
Token Type IDs
Heißt auch Segment IDs oder token_type_ids.
Kennungen zur Unterscheidung von Teilsequenzen in einem Input.
Token Type IDs sind zusätzliche Kennungen, mit denen bestimmte Modelle die Zugehörigkeit eines Tokens zu einem Textsegment erkennen. Bei BERT können sie beispielsweise zwischen dem ersten und zweiten Text einer gemeinsam verarbeiteten Eingabe unterscheiden. (Hugging Face) Deshalb heißen sie auch Segment IDs. (Hugging Face)
So kannst du dir das vorstellen
Du legst einen Vertrag und eine dazugehörige Frage auf denselben Arbeitstisch. Alle Textstreifen aus dem Vertrag bekommen einen blauen Punkt, alle aus der Frage einen grünen. So bleibt erkennbar, zu welchem Ausgangstext ein Streifen gehört.
Diese Farbpunkte entsprechen im Bild den Segmentkennungen. Sie sagen noch nichts darüber aus, ob die Inhalte wichtig, richtig oder falsch sind.
Ein Beispiel mit zwei Texten
Nehmen wir als ersten Text: „Die Lieferung erfolgt innerhalb von fünf Werktagen.“ Als zweiten Text verwenden wir: „Welche Lieferfrist gilt?“
Bei einer BERT-artigen Paareingabe können die Tokens des ersten Textes die Kennung 0 und die des zweiten die Kennung 1 erhalten; Spezialtokens markieren zusätzlich Anfang und Trennstellen im Format. (Hugging Face) Die Kennungen gehören neben den eigentlichen input_ids zur vorbereiteten Modelleingabe. (Hugging Face)
Das Beispiel soll die Trennung zwischen Dokument und Frage verdeutlichen. Eine reale Tokenliste würde zusätzlich vom ausgewählten Tokenizer und seinen Spezialtoken-Regeln abhängen.
„Type“ meint hier keine Wortart
Der Name kann irritieren: In diesem Zusammenhang kennzeichnen die IDs Textsegmente, nicht Substantive, Verben oder die Bedeutung einzelner Wörter. (Hugging Face) Auch die Position innerhalb des Textes ist eine andere Angabe. (Hugging Face)
Nicht alle Modelle nutzen Token Type IDs, und selbst die Anzahl möglicher Typen ist modellabhängig; die Dokumentation nennt beispielsweise eine zusätzliche Kennung bei XLNet. (Hugging Face) Ein Feld aus einer BERT-Anleitung sollte daher nicht ungeprüft in jede andere Modellanfrage übernommen werden.
Für Chatmodelle wird die Sprecherstruktur häufig über das Chat Template und seine Steuerzeichen vermittelt. (Hugging Face) Das ist ein eigener Mechanismus, den man beim Lesen einer Konfiguration gesondert prüfen sollte.
Verwandte Begriffe
BERT, Token-ID, Position IDs und Chat Template helfen bei der Abgrenzung. Special Tokens behandelt die zusätzlichen Trennmarkierungen.