---
term: "Tokenizer"
slug: "tokenizer"
glossar_id: "G035"
variants: []
category: "tokens-tokenisierung-und-nachrichtenformat"
marker: ""
short: "Komponente zur Umwandlung zwischen Text und Tokenrepräsentationen."
sources:
  - label: "Hugging Face"
    url: "https://huggingface.co/docs/tokenizers/pipeline"
  - label: "OpenAI"
    url: "https://help.openai.com/en/articles/4936856-understanding-and-counting-tokens"
  - label: "Hugging Face"
    url: "https://huggingface.co/docs/transformers/en/glossary"
  - label: "OpenAI: tiktoken"
    url: "https://github.com/openai/tiktoken"
status: "entwurf"
updated: "2026-09-20"
---

Ein Tokenizer ist die Softwarekomponente, die Text in Tokens und die dazugehörigen Zahlenkennungen übersetzt. Je nach Konfiguration übernimmt sie außerdem Vorverarbeitung, Spezialtokens und Hilfsangaben für die Modelleingabe. ([Hugging Face](https://huggingface.co/docs/tokenizers/pipeline)) Zum Tokenizer gehört auch die Rückübersetzung von Token-IDs in lesbaren Text, das Decoding. ([Hugging Face](https://huggingface.co/docs/tokenizers/pipeline))

## So kannst du dir das vorstellen

Du schickst einer Druckerei einen Text. Dort wird er in verfügbare Druckbausteine zerlegt, und jeder Baustein erhält eine Bestellnummer. Die Maschine arbeitet mit dieser Nummernliste.

Der Tokenizer entspricht in diesem Bild der Auftragsvorbereitung samt Bausteinkatalog. Der eigentliche Druck wäre ein anderer Arbeitsschritt. Genauso solltest du Tokenizer und Sprachmodell gedanklich auseinanderhalten.

## Warum er zum Modell passen muss

Token-IDs haben ihre Bedeutung innerhalb eines bestimmten Encodings; dieselbe Nummer ist keine modellübergreifend gültige Kennung für ein Wort. ([OpenAI](https://help.openai.com/en/articles/4936856-understanding-and-counting-tokens)) Ein Modell erwartet daher Eingaben aus der zu ihm passenden Tokenizer-Konfiguration. ([Hugging Face](https://huggingface.co/docs/transformers/en/glossary))

Dokumentiere bei einer lokalen Einrichtung Tokenizer und Modellversion gemeinsam. Bei unerwarteten Antworten lohnt sich außerdem ein Blick auf das Chat Template, also die Formatierung der Gesprächsnachrichten.

## Der Algorithmus ist nur ein Bestandteil

Zwei Tokenizer können beide Byte Pair Encoding verwenden und trotzdem unterschiedliche Vokabulare, Zerlegungsregeln oder Spezialtokens besitzen. ([OpenAI: tiktoken](https://github.com/openai/tiktoken)) Die Angabe „verwendet BPE“ beschreibt deshalb noch nicht die vollständige Konfiguration.

Auch die Vorverarbeitung zählt: Ein Tokenizer kann beispielsweise Großbuchstaben vereinheitlichen oder Akzente entfernen, wenn das so eingerichtet wurde. ([Hugging Face](https://huggingface.co/docs/tokenizers/pipeline)) In solchen Fällen lässt sich aus den Token-IDs nicht jede Eigenschaft des ursprünglichen Textes zurückgewinnen; die in der Vorverarbeitung entfernte Information fehlt. ([Hugging Face](https://huggingface.co/docs/tokenizers/pipeline))

Ein sinnvoller Test für einen Rechnungsworkflow enthält daher Namen, Sonderzeichen und Artikelnummern. Prüfe dabei auch, ob die Rückübersetzung die Schreibweise erhält, die du später benötigst.

## Verwandte Begriffe

**Tokenisierung** bezeichnet den Vorgang, **Vocabulary** den verfügbaren Tokenbestand. **Encoding**, **Chat Template** und **Special Tokens** helfen beim Verständnis der vollständigen Eingabeverarbeitung.