WordPiece

WordPiece ist ein Subword-Tokenisierungsverfahren, das unter anderem bei BERT eingesetzt wird. Wörter werden mithilfe eines festgelegten Vokabulars in ganze Wörter oder kleinere Wortstücke zerlegt. (Hugging Face) Bei der Anwendung sucht WordPiece vom jeweiligen Wortanfang aus den längsten passenden Vokabulareintrag und arbeitet anschließend am verbleibenden Rest weiter. (Hugging Face)

So kannst du dir das vorstellen

Du sollst eine Zeile mit vorbereiteten Beschriftungsstreifen abdecken. Am Anfang legst du den längsten passenden Streifen an. Danach wiederholst du das mit dem noch freien Rest.

Das Bild beschreibt die Auswahl beim Zerlegen eines neuen Wortes. Es erklärt noch nicht, wie die Sammlung der verfügbaren Streifen ursprünglich zusammengestellt wurde.

Was die Doppelraute bedeutet

In den BERT-Beispielen kennzeichnet ## einen Wortteil, der an den vorherigen Teil anschließt. (Hugging Face) Im Lehrbeispiel der Dokumentation wird etwa hugs mit einem dafür konstruierten Vokabular zu hug und ##s. (Hugging Face)

Diese Schreibweise ist eine Darstellung der Tokenstruktur, kein nachträglich in den Ursprungstext eingefügtes Satzzeichen. (Hugging Face) Beim Decoding sorgt der passende Decoder dafür, dass solche Wortteile wieder korrekt zusammengefügt werden. (Hugging Face)

Die Grenze bei unbekannten Bestandteilen

Kann die klassische WordPiece-Zerlegung an einer Stelle keinen passenden Teil finden, wird das gesamte betroffene Wort zum Unknown-Token, typischerweise [UNK]. (Hugging Face) Das unterscheidet sich von einem bytebasierten Verfahren mit vollständigem Bytebestand. (Hugging Face)

Wenn du ein solches Modell für die Erkennung von Produktnamen einsetzt, würde ich deshalb auch ungewöhnliche Zeichenfolgen prüfen. Ein Test ausschließlich mit gewöhnlichen Fließtexten kann diese Anforderung leicht übersehen.

Abgrenzung zu BPE

BPE wendet beim Tokenisieren gelernte Zusammenführungsregeln an, WordPiece nutzt das Vokabular für die Suche nach dem längsten passenden Teil. (Hugging Face) Ähnliche Wortstücke in einer Beispielausgabe bedeuten daher nicht, dass im Hintergrund dasselbe Verfahren arbeitet.

Verwandte Begriffe

BERT, Subword Tokenization, Vocabulary und Special Tokens liefern den Kontext. Byte Pair Encoding und Unigram Tokenization bieten die wichtigsten Vergleichspunkte.