Tokens, Tokenisierung und Nachrichtenformat
Tokenization
Heißt auch Tokenisierung.
Zerlegung von Eingaben in eine modellabhängige Tokensequenz.
Tokenisierung ist die Aufteilung von Text in Einheiten, mit denen ein Sprachmodell arbeitet: die Tokens. Diese Einheiten können ganze Wörter, Wortteile oder Satzzeichen sein; welche Grenzen entstehen, hängt vom verwendeten Verfahren und seinem Vokabular ab. (Hugging Face) Bei der Vorbereitung einer Modelleingabe werden den Tokens außerdem numerische Kennungen zugeordnet, die Token-IDs. (Hugging Face)
So kannst du dir das vorstellen
Stell dir eine Druckerei mit einem Set vorgefertigter Stempel vor. Für häufige Wörter gibt es einen eigenen Stempel, andere Wörter musst du aus kleineren Teilen zusammensetzen. Ein langer Firmenname lässt sich so auch dann drucken, wenn kein Stempel für den vollständigen Namen vorhanden ist.
Das Bild erklärt die Idee wiederverwendbarer Textbausteine. Welche Teile ein echter Tokenizer verwendet, folgt allerdings seinen technischen Regeln; eine sprachlich schöne Trennung ist dabei kein Muss. (Hugging Face)
Was mit deiner Kundenmail passiert
Angenommen, du lässt eine Mail mit Produktbezeichnungen und Artikelnummern zusammenfassen. Lass dir den Text zum Vergleich im passenden Tokenizer anzeigen: Welche Stellen bleiben zusammen, welche zerfallen in viele Stücke?
Die Tokenzahl lässt sich nicht zuverlässig aus der Anzahl der Wörter ableiten, denn auch Sprache, Großschreibung und Leerzeichen beeinflussen die Aufteilung. (OpenAI) Derselbe Mailtext kann deshalb je nach Modell-Encoding unterschiedlich viele Tokens ergeben. (OpenAI)
Aufteilen ist noch kein Verstehen
Eine Tokenisierungspipeline kann mehrere Schritte enthalten: Text vereinheitlichen, grob vorzerlegen, die eigentlichen Tokens bestimmen und Steuerzeichen ergänzen. (Hugging Face) Der Tokenizer liefert damit die aufbereitete Eingabe; die anschließende Verarbeitung übernimmt das Sprachmodell. (OpenAI)
Gib bei technischen Vergleichen deshalb den konkreten Tokenizer an. „Dieser Text hat 800 Tokens“ ist ohne diesen Bezug nur eine unvollständige Messangabe.
Verwandte Begriffe
Tokens, Tokenizer und Token-ID erklären die beteiligten Einheiten und Werkzeuge. Pre-tokenization, Subword Tokenization und Byte Pair Encoding führen tiefer in die Aufteilung hinein.