Long Context

Long Context bezeichnet die Verarbeitung besonders umfangreicher Eingaben oder Arbeitskontexte durch ein Sprachmodell. Hsieh et al.: RULER Chroma: Context Rot Der Ausdruck ist eine relative Einordnung und benennt für sich genommen keine einheitliche Qualitätsstufe oder feste, überall geltende Tokengrenze.

Viel Material in einem Aufruf

Langkontextaufgaben können das Auffinden einzelner Angaben, das Verknüpfen verteilter Informationen oder die Auswertung umfangreicher Gesprächsverläufe umfassen. Hsieh et al.: RULER Chroma: Context Rot Diese Anforderungen sind unterschiedlich anspruchsvoll und sollten nicht allein unter einer gemeinsamen Kapazitätszahl zusammengefasst werden. Hsieh et al.: RULER

Der bekannte „Needle in a Haystack“-Test prüft das Wiederfinden einer versteckten Information in viel anderem Text. Hsieh et al.: RULER RULER erweitert diesen Ansatz unter anderem um mehrstufiges Verfolgen von Beziehungen und das Zusammenführen mehrerer Angaben. Hsieh et al.: RULER

Ein sehr gutes Ergebnis bei einer einfachen Suchaufgabe belegt deshalb noch keine gleich gute Leistung bei allen Aufgaben mit langen Eingaben. Hsieh et al.: RULER

So kannst du dir das vorstellen

Eine hypothetische KI soll aus einem umfangreichen Projektverlauf erklären, warum eine technische Entscheidung geändert wurde. Dazu müsste sie einen frühen Beschluss, eine spätere Einschränkung und die schließlich bestätigte Alternative miteinander verbinden.

Die bloße Frage „An welchem Tag wurde Alternative B erwähnt?“ wäre eine andere Aufgabe. Beide brauchen Zugriff auf denselben Verlauf, aber nicht dieselbe Art der Verarbeitung.

Für deinen eigenen Test könntest du deshalb sowohl konkrete Fundstellen als auch begründete Zusammenhänge abfragen. Die erwarteten Antworten müssten zuvor anhand der Unterlagen feststehen.

Lang ist nicht automatisch vollständig nutzbar

Studien berichten bei den jeweils untersuchten Modellen nachlassende Leistung mit wachsender Kontextlänge und abhängig von der Aufgabe. Hsieh et al.: RULER Chroma: Context Rot Daraus folgt keine identische Grenze für jedes heutige Modell.

Gezielter Abruf, strukturierte Notizen und Verdichtung sind mögliche Ergänzungen zur Arbeit mit großen Kontextfenstern. Anthropic: Context Engineering Sie sollten jedoch nicht blind eingesetzt werden: Wenn die Aufgabe verteilte Details benötigt, dürfen gerade diese beim Kürzen nicht verloren gehen. Anthropic: Context Engineering

Verwandte Begriffe

Context Window, Effective Context, Long-Range Reasoning, Lost in the Middle, Context Engineering.