Tokens, Tokenisierung und Nachrichtenformat
Input Tokens
Heißt auch Prompt Tokens oder Eingabetokens.
Tokens, die dem Modell als Eingabe übergeben werden.
Input-Tokens sind die Tokens, die einem Modell mit einer Anfrage als Eingabe zugeführt werden. Eine andere Bezeichnung lautet Prompt Tokens. (OpenAI) Dazu zählt je nach Anfrage mehr als der zuletzt eingetippte Text: Auch Nachrichtenstruktur, Werkzeuge, Schemas und weitere Eingabeinhalte können die vollständige Zählung beeinflussen. (OpenAI)
So kannst du dir das vorstellen
Du bittest eine Kollegin um eine Entscheidung und legst ihr eine Mappe hin. Darin stehen dein Auftrag, frühere Absprachen und die Unterlagen, auf die sie sich stützen soll.
Für den Umfang der Übergabe zählt die ganze Mappe. Ein kurzer Satz auf dem Deckblatt macht die beigefügten Dokumente nicht kürzer.
Die letzte Nachricht ist nur ein Teil
Angenommen, du fragst nach einem langen Austausch lediglich: „Bitte formuliere das kürzer.“ Um diese Bitte umzusetzen, soll die Anwendung zusätzlich den bisherigen Entwurf und relevante Vorgaben mitgeben.
In einem Chat kann der übergebene Gesprächsverlauf Teil der gerenderten Modelleingabe sein, ebenso wie Entwickleranweisungen und Werkzeugdefinitionen. (OpenAI) Für eine Verbrauchsprüfung sollte man daher die tatsächlich zusammengestellte Anfrage untersuchen.
Eingabe, Ausgabe und Cache sauber zählen
Input-Tokens sind von den neu erzeugten Output-Tokens zu unterscheiden; APIs weisen diese Kategorien gesondert aus. (OpenAI) Cached Input Tokens sind wiederum Eingabetokens, für deren Verarbeitung vorhandene Cache-Zustände genutzt werden. (OpenAI)
Beim Aufbereiten einer Nutzungsstatistik sollte man deshalb prüfen, welche Detailwerte bereits in übergeordneten Summen enthalten sind. Bloß alle Zahlenfelder zusammenzuaddieren ist keine verlässliche Methode.
Was eine Vorabzählung leisten kann
Ein zum Modell passender Tokenizer zählt reinen Text; eine vollständige API-Anfrage kann zusätzlich Formatierungs- und andere Eingabetokens enthalten. (OpenAI) Für die tatsächlich verarbeitete Menge liefern die Nutzungsangaben der Antwort die entsprechende Rückmeldung. (OpenAI)
Für wiederkehrende Unternehmensaufgaben bietet sich ein Test mit realistischen Anfragen an. Erfasse dabei den vollständigen Auftrag statt nur einer verkürzten Demonstrationsfrage.
Verwandte Begriffe
Output-Tokens, Cached Input Tokens und Token Count erklären die weiteren Mengenangaben. Kontextfenster und Chat Template behandeln Grenzen und Struktur der Eingabe.