Unigram Tokenization

Unigram Tokenization ist ein Verfahren, das möglichen Textbausteinen Wahrscheinlichkeiten zuordnet und daraus eine passende Zerlegung des Textes bestimmt. Beim Aufbau des Vokabulars startet es mit vielen Kandidaten und entfernt schrittweise diejenigen, deren Wegfall die Darstellung der Trainingsdaten am wenigsten verschlechtert. (Hugging Face)

So kannst du dir das vorstellen

Du planst das Sortiment eines Lagers. Anfangs liegen dort viele ähnliche Bauteile. Dann prüfst du: Welche könnten wir streichen, weil sich die benötigten Produkte fast ebenso gut aus den verbleibenden Teilen zusammenbauen lassen?

Einige Teile werden selten gebraucht, sind aber schwer zu ersetzen. Andere wirken beliebt, lassen sich jedoch problemlos durch eine Kombination anderer Teile ersetzen. Das Bild hilft, den Auswahlgedanken zu verstehen; die echte Bewertung erfolgt über ein Wahrscheinlichkeitsmodell. (Hugging Face)

Mehrere mögliche Zerlegungen

Ein Wort kann sich mit demselben Vokabular auf verschiedene Arten darstellen lassen; Unigram bewertet diese Möglichkeiten und wählt im üblichen deterministischen Einsatz die wahrscheinlichste Zerlegung. (Hugging Face) Für Trainingszwecke lassen sich auch unterschiedliche Zerlegungen anhand der Wahrscheinlichkeiten ziehen. (Hugging Face)

„Wahrscheinlichkeitsbasiert“ bedeutet also nicht, dass bei jeder normalen Anfrage zwangsläufig eine andere Aufteilung entsteht. Die Dokumentation unterscheidet zwischen der Auswahl der besten Zerlegung und dem gezielten Sampling von Varianten. (Hugging Face)

Wie es sich von BPE unterscheidet

BPE baut größere Einheiten durch Zusammenführen auf; Unigram dünnt einen zunächst umfangreichen Kandidatenbestand aus. (Hugging Face) Beide zählen zu den Subword-Verfahren, kommen aber auf anderem Weg zu ihrem Vokabular. (Hugging Face)

Unigram begegnet dir außerdem häufig zusammen mit SentencePiece, einer Bibliothek, die sowohl Unigram als auch BPE unterstützt. (Hugging Face) Aus der Angabe „SentencePiece“ allein lässt sich deshalb noch nicht auf Unigram schließen.

Für eine praktische Modellauswahl wäre mein Vorschlag: die Verfahren verstehen, aber anschließend die eigenen Texte testen. Die Bezeichnung allein beantwortet noch nicht, welche Konfiguration für deine Inhalte am besten passt.

Verwandte Begriffe

Tokenizer, Vocabulary und Subword Tokenization erklären die Grundlagen. Byte Pair Encoding und WordPiece zeigen alternative Verfahren.