Cost per Million Tokens

Preise für Modellzugriff werden je Million Tokens angegeben, mit getrennten Sätzen für Eingabe und Ausgabe. Diese Einheit hat sich durchgesetzt, weil einzelne Tokens Bruchteile von Cent kosten und die Zahlen sonst unlesbar wären. OpenAI

Die Preisliste hat mehr Zeilen als zwei

Neben Eingabe und Ausgabe stehen weitere Sätze: zwischengespeicherte Eingabe, die deutlich günstiger ist, Stapelverarbeitung mit Rabatt bei verzögerter Bearbeitung, und je nach Anbieter gesonderte Sätze für Bilder, Audio oder Werkzeugnutzung. Wer nur die beiden Hauptsätze vergleicht, vergleicht unvollständig.

Für den Vergleich zwischen Modellen kommt dazu, dass Tokenisierung sich unterscheidet: Derselbe Text ergibt je nach Modell unterschiedlich viele Tokens, besonders bei Deutsch und anderen Sprachen mit langen Wörtern. Ein niedrigerer Preis pro Million kann durch mehr Tokens aufgezehrt werden. AWS

So kannst du dir das vorstellen

Ein Preis je Kilogramm, bei dem die Verpackung mitgewogen wird und je nach Anbieter unterschiedlich schwer ist. Das Bild erklärt, warum der Grundpreis allein nicht vergleichbar ist, es nennt keine konkreten Sätze.

Was es in der Praxis konkret bedeutet

Vergleiche Anbieter an derselben echten Aufgabe, nicht an der Preisliste: dieselben zwanzig Anfragen durchlaufen lassen und die tatsächlich abgerechneten Kosten gegenüberstellen. Das dauert eine Stunde und liefert belastbare Zahlen. Achte dabei auf die Sprache deiner Inhalte, denn bei deutschen Texten fallen die Unterschiede in der Tokenzahl stärker aus.

Wo es verwechselt wird

Der Preis sagt nichts über die Kosten pro erledigter Aufgabe. Ein teureres Modell, das im ersten Versuch das Richtige liefert, kann günstiger sein als ein billiges mit drei Anläufen. Und Preise ändern sich; jede Kalkulation gehört mit Datum versehen.

Verwandte Begriffe

Inference Cost, Token, Prompt Caching, Batch Inference, Total Cost of Ownership, Tokenization.