Encoding

Encoding bezeichnet im Zusammenhang mit Tokenizern die Umwandlung von Text in seine Token-Repräsentation, insbesondere in Token-IDs. (Hugging Face) Das Wort kann auch eine konkrete Konfiguration aus Tokenbestand und Regeln meinen, wie die benannten Encodings der Bibliothek tiktoken. (OpenAI: tiktoken) Hier lohnt es sich, zwischen dem Vorgang und dem verwendeten Regelwerk zu unterscheiden.

So kannst du dir das vorstellen

Du schreibst einen Einkaufszettel in Artikelnummern um. Für „Schraube kurz“ trägst du die passende Nummer aus dem Katalog ein. Ein anderer Händler kann für dasselbe Teil eine völlig andere Nummer verwenden.

Das Umschreiben entspricht dem Encoding als Vorgang. Der Katalog samt Zuordnungsregeln steht für das Encoding als konkrete Konfiguration.

Mehr als eine Liste von Zahlen

Eine Encoding-Ausgabe kann neben Token-IDs weitere Angaben enthalten, etwa eine Attention Mask oder Informationen darüber, welche Stelle im Originaltext zu einem Token gehört. (Hugging Face) Welche Felder zurückgegeben werden, hängt von Bibliothek, Tokenizer und gewählten Optionen ab. (Hugging Face)

Bei einem Dokumentenworkflow wäre diese Zuordnung zum Ursprungstext beispielsweise hilfreich, um gefundene Begriffe wieder an der richtigen Stelle hervorzuheben. Für eine bloße Tokenzählung genügt dagegen häufig eine wesentlich kleinere Ausgabe.

Geht der Weg auch zurück?

Decoding übersetzt Token-IDs wieder in Text. (Hugging Face) Bei tiktoken ist die Textcodierung verlustfrei; dort lässt sich der ursprüngliche Text wiederherstellen. (OpenAI: tiktoken)

Andere Tokenizer können den Text vorher normalisieren, etwa Akzente entfernen oder Großbuchstaben in Kleinbuchstaben umwandeln. (Hugging Face) Eine vollständige Wiederherstellung der ursprünglichen Schreibweise ist dann nicht allgemein zugesichert. (Hugging Face)

Nicht jede Verwendung meint Tokenisierung

In diesem Glossarartikel geht es um die Textaufbereitung für Modelle. Wenn in einer technischen Beschreibung lediglich „Encoding“ steht, frage deshalb nach: Ist die Tokenizer-Konfiguration gemeint, das Ergebnis eines Aufrufs oder ein anderer Codierungsschritt?

Auch die Bezeichnung Encoder sollte man hier nicht vorschnell gleichsetzen. Für die entsprechende Modellarchitektur gibt es den eigenen Artikel Encoder-only Model.

Verwandte Begriffe

Tokenizer, Token-ID und Vocabulary erklären die konkrete Zuordnung. Attention Mask beschreibt eine mögliche zusätzliche Angabe in der Encoding-Ausgabe.