Special Tokens

Special Tokens sind reservierte Tokens mit einer besonderen Funktion im Eingabe- oder Ausgabeformat eines Modells. Sie können beispielsweise Grenzen markieren, fehlende Inhalte kennzeichnen oder kürzere Eingaben auffüllen. (Hugging Face) Welche Spezialtokens ein Modell verwendet und wie sie heißen, hängt von seiner Konfiguration ab. (Hugging Face)

So kannst du dir das vorstellen

Ein Drehbuch enthält gesprochene Sätze, aber auch Hinweise wie „Szenenbeginn“ und Angaben darüber, wer spricht. Solche Hinweise gehören zur Struktur. Sie sind keine zusätzliche Dialogzeile.

Spezialtokens übernehmen vergleichbare Markierungsaufgaben. Die Analogie beschreibt ihren Zweck; ein Modell erhält dafür Token-IDs statt menschlich interpretierter Regieanweisungen. (Hugging Face)

Unterschiedliche Aufgaben

• BOS und EOS: Sie kennzeichnen einen Anfang beziehungsweise ein Ende im vorgesehenen Sequenzformat. (Hugging Face)
• PAD: Damit werden Tokenfolgen für eine gemeinsame Verarbeitung auf dieselbe Länge gebracht. (Hugging Face)
• UNK: Dieser Marker steht bei entsprechenden Tokenizern für Inhalte außerhalb des verfügbaren Vokabulars. (Hugging Face)
• MASK: Bei Masked-Language-Model-Verfahren kennzeichnet er einen verdeckten Token. (Hugging Face)

Daneben nutzen Chatmodelle formatspezifische Steuerzeichen, um beispielsweise Rollen und Nachrichtengrenzen darzustellen. (Hugging Face) Die Liste ist daher kein universeller Satz von Pflichtmarkierungen für jedes Modell.

Die sichtbare Schreibweise kann täuschen

Ein reservierter Marker kann in einer Textansicht wie <s> aussehen und trotzdem als ein einzelner Spezialtoken behandelt werden. (Hugging Face) Ob eine solche Zeichenfolge als Spezialtoken erkannt oder als gewöhnlicher Text zerlegt wird, hängt vom Tokenizer und seinen Einstellungen ab. (Hugging Face)

Bei der Einrichtung eines lokalen Chatmodells solltest du diese Marker daher nicht nach Gefühl ergänzen. Ein korrektes Chat Template enthält bereits die benötigten Spezialtokens; zusätzliche automatische Einfügungen können sie doppeln und die Modellleistung beeinträchtigen. (Hugging Face)

Verwandte Begriffe

BOS, EOS, PAD und Chat Template erläutern konkrete Funktionen. Token-ID erklärt, wie auch diese Marker numerisch repräsentiert werden.