Tokens, Tokenisierung und Nachrichtenformat
Subword Tokenization
Heißt auch Subword Token oder Subword-Tokenisierung.
Verarbeitung von Wortteilen anstelle ausschließlich vollständiger Wörter.
Subword Tokenization verarbeitet Text mit Einheiten, die zwischen einzelnen Zeichen und vollständigen Wörtern liegen. Häufige Wörter können als Ganzes erhalten bleiben, seltene oder bisher unbekannte Wörter werden aus kleineren bekannten Teilen zusammengesetzt. (Hugging Face) Ein solcher Teil wird als Subword Token bezeichnet. (Hugging Face)
So kannst du dir das vorstellen
Du möchtest Schilder beschriften und hast dafür ganze Wörter, häufige Wortstücke und einzelne Buchstaben vorrätig. Für „Eingang“ nimmst du vielleicht ein fertiges Schild. Einen ungewöhnlichen Produktnamen setzt du aus kleineren Stücken zusammen.
So musst du nicht für jeden denkbaren Namen ein eigenes Schild lagern. Die konkreten Wortstücke in diesem Bild sind frei gewählt; bei einem echten Tokenizer entscheidet das gelernte Vokabular über die Zerlegung. (Hugging Face)
Wortteile sind nicht automatisch Silben
BPE, WordPiece und Unigram lernen ihren Tokenbestand anhand von Textdaten und jeweils eigenen Auswahlregeln. (Hugging Face) Ihre Grenzen müssen deshalb nicht mit Silben, Wortstämmen oder der Trennung im Wörterbuch übereinstimmen. (Hugging Face)
Beurteile eine Zerlegung deshalb anhand der Regeln des Tokenizers. Die Trennstellen müssen für dich nicht wie eine natürliche Wortzerlegung aussehen.
Wozu diese Zwischenstufe dient
Ein reines Wortvokabular benötigt eigene Einträge für viele Wortformen und stößt bei unbekannten Wörtern an Grenzen; eine reine Zeichenzerlegung erzeugt dagegen lange Folgen. (Hugging Face) Subword-Verfahren bieten einen Weg, mit einem begrenzten Vokabular trotzdem viele unterschiedliche Wörter darzustellen. (Hugging Face)
Die Verfahren unterscheiden sich allerdings beim Umgang mit unbekannten Zeichen: Eine vollständige Byte-Basis kann beliebigen Text abbilden, während ein klassischer WordPiece-Tokenizer unter bestimmten Bedingungen ein ganzes Wort als unbekannt markiert. (Hugging Face: Tokenisierungsverfahren, WordPiece) „Subword“ allein garantiert also noch keine bestimmte Zeichenabdeckung.
Verwandte Begriffe
Vocabulary erläutert den Bausteinbestand. Byte Pair Encoding, WordPiece, Unigram Tokenization und Byte-level BPE beschreiben unterschiedliche Wege, ihn aufzubauen und zu nutzen.