Context Length

Context Length, auf Deutsch Kontextlänge, meint hier den tatsächlich genutzten Umfang einer Eingabe beziehungsweise eines aktiven Kontexts, meist gemessen in Tokens. OpenAI: Conversation State OpenAI: Tokens verstehen und zählen Der Ausdruck wird allerdings auch für eine maximal unterstützte Kontextlänge verwendet, etwa bei Modellangaben in Langkontextstudien. Hsieh et al.: RULER

Erst klären, was gezählt wird

In diesem Glossar bezeichnet „Kontextfenster“ die Kapazitätsgrenze und „Kontextlänge“ zunächst die aktuelle Belegung. Bei fremden Angaben solltest du prüfen, ob von Eingabetokens, dem Kontext während der Generierung oder der maximalen Modellkapazität die Rede ist. OpenAI: Conversation State OpenAI: Reasoning Models

Tokens sind nicht mit Wörtern gleichzusetzen; ihre Anzahl hängt unter anderem von Sprache und Tokenisierung ab. OpenAI: Tokens verstehen und zählen Auch die vollständige Nachrichtenstruktur und zusätzliche Inhalte können zur gemessenen Eingabe beitragen. OpenAI: Tokens verstehen und zählen

Die Länge eines Dokuments in Seiten ist daher keine verlässliche Tokenangabe für den kompletten Aufruf. Zu unterscheiden sind dabei die Tokenisierung reinen Texts und die Zählung vollständiger Anfragen mit weiteren Bestandteilen. OpenAI: Tokens verstehen und zählen

So kannst du dir das vorstellen

Angenommen, du vergleichst zwei hypothetische Aufrufe mit demselben Modell. Der erste enthält nur eine Frage und einen Absatz, der zweite zusätzlich einen langen bisherigen Gesprächsverlauf.

Beide verwenden dasselbe Kontextfenster. Ihre tatsächliche Kontextlänge unterscheidet sich jedoch, weil die Anwendung unterschiedlich viel Material bereitstellt.

Für eine interne Dokumentation würde ich deshalb beispielsweise „Eingabetokens des vollständigen Aufrufs“ als Messgröße benennen. Das ist eindeutiger als eine unkommentierte Spalte „Kontext“.

Eine Mengenangabe, kein Qualitätsurteil

Längere Eingaben können mehr relevante Informationen enthalten, aber auch zusätzliche Such- und Auswahlprobleme erzeugen. Chroma untersucht genau solche Veränderungen bei wachsendem Input und gleichbleibender Aufgabenstellung. Chroma: Context Rot

Aus der Tokenzahl allein lässt sich deshalb nicht ablesen, ob ein Kontext passend zusammengestellt ist. Für einen konkreten Prozess würde ich zusätzlich prüfen, welche Informationen benötigt werden und ob das Modell diese zuverlässig nutzt.

Verwandte Begriffe

Context Window, Token, Input Tokens, Long Context, Context Curation.