Context Window

Das Context Window, auf Deutsch Kontextfenster, ist die modellabhängige Begrenzung des Kontexts, den ein Modell innerhalb eines Aufrufs verarbeiten kann. Die Kapazität wird üblicherweise in Tokens angegeben, also den Verarbeitungseinheiten des Modells statt in Wörtern oder Seiten. OpenAI: Tokens verstehen und zählen

Kapazität statt Gedächtnisdauer

Bei gängigen Modellen teilen sich Eingabe und erzeugte Tokens die verfügbare Kontextkapazität; bei Reasoning-Modellen zählen auch interne Reasoning-Tokens dazu. OpenAI: Reasoning Models Welche Grenzen konkret gelten, muss anhand des Modells und seiner Schnittstelle geprüft werden.

Die Eingabe umfasst dabei mehr als deinen eingegebenen Satz: Nachrichten, Werkzeugbeschreibungen und weitere Bestandteile des Aufrufs können ebenfalls Tokens belegen. Ein separates Ausgabelimit kann die erzeugte Antwort zusätzlich begrenzen.

Ein großes Kontextfenster ist kein Versprechen, Informationen über beliebig viele Sitzungen dauerhaft zu speichern. Für die Fortführung von Unterhaltungen gibt es eigene Verfahren zur Verwaltung und erneuten Bereitstellung des Gesprächszustands.

So kannst du dir das vorstellen

Als Analogie dient eine begrenzte Arbeitsfläche. Du kannst darauf Unterlagen ausbreiten, brauchst aber auch Platz für die laufende Bearbeitung.

In einem hypothetischen Vertragsvergleich wäre es deshalb ungünstig, die gesamte Fläche mit Anhängen zu belegen, ohne Raum für das Ergebnis einzuplanen. Die Analogie zeigt das gemeinsame Kapazitätsproblem; sie gibt keine allgemeingültige Formel für jede KI-Schnittstelle vor.

Größe allein entscheidet nicht

Technisch passende Eingaben können trotzdem unzuverlässig ausgewertet werden. Der RULER-Benchmark zeigt bei den untersuchten Modellen Unterschiede zwischen beworbener Kontextgröße und Leistung bei anspruchsvolleren Langkontextaufgaben. Hsieh et al.: RULER

Für eine Auswahl lohnt es sich deshalb, die zulässige Kapazität und passende Qualitätsprüfungen getrennt zu betrachten. „Passt hinein“ beantwortet noch nicht die Frage, ob das Modell alle entscheidenden Zusammenhänge richtig verarbeitet.

Was das konkret in der Praxis bedeutet

Läuft ein Kontextfenster voll, muss die KI anfangen, Inhalte zusammenzufassen. D.h. je länger ein Chat / Session läuft, desto voller wird das Fenster. Kommt es an das Limit, z. B. 1 Mio Tokens, muss die KI automatisch zusammenfassen und verliert dabei die Details, weil nicht gesichert ist, dass die wichtigsten Informationen enthalten bleiben und das Modell selbst entscheidet, was erhalten bleiben soll und was nicht, bzw. wie stark zusammengefasst wird.

Manche Tools zeigen an, wie voll das Fenster ist, andere warnen vor einem (fast) vollen Kontext und bieten aktiv an, diesen zusammenzufassen (sog. "compacten"). In einem solchen Fall sollte man die KI anweisen, die wichtigsten Inhalte zu sichern. Am einfachsten, indem man sie in ein Dokument speichern lässt. Die Empfehlung ist hier ein sog. "Markdown" (*.md). Dann sollte man entweder einen neuen Chat / Session auf Basis dieses Übergabedokuments starten oder eben nach der Zusammenfassung mit diesem Dokument als Briefing weiter machen.

Verwandte Begriffe

Context Length, Token Budget, Output Limit, Effective Context, Context Overflow.