Namen häufig genannter Benchmarks
RULER
Heißt auch LongBench v2 oder BABILong.
Benchmarks mit unterschiedlichen Schwerpunkten bei langen Kontexten.
RULER prüft, wie viel von einem großen Kontextfenster tatsächlich nutzbar ist. Ausgangspunkt ist der bekannte Test, bei dem eine Information in einem langen Text versteckt und danach abgefragt wird. RULER erweitert ihn um mehrere versteckte Informationen, um das Verfolgen von Verweisen über mehrere Schritte und um Aufgaben, bei denen Angaben aus dem ganzen Text zusammengefasst werden müssen. Hsieh et al.
Beworbene und nutzbare Kontextlänge sind zwei Zahlen
Die Erweiterung ist der Kern der Sache. Eine einzelne Information wiederzufinden gelingt Modellen auch bei sehr langen Eingaben. Sobald mehrere Angaben verknüpft oder gezählt werden müssen, bricht die Leistung deutlich früher ein, als die angegebene Kapazität vermuten lässt.
Daneben stehen Tests mit anderem Schwerpunkt. LongBench v2 arbeitet mit 503 Auswahlfragen zu echten Texten von 8.000 bis zwei Millionen Wörtern, darunter Coderepositorys und lange Gesprächsverläufe. Fachleute kamen dort unter Zeitdruck auf 53,7 Prozent. Bai et al. BABILong setzt auf zusammengesetzte Aufgaben in sehr langen Ablenkungstexten.
So kannst du dir das vorstellen
Ein Aktenordner mit tausend Seiten. Eine markierte Stelle wiederzufinden ist leicht. Alle Zahlungseingänge aus drei Kapiteln zu addieren, ist etwas anderes. Das Bild erklärt den Unterschied zwischen Suchen und Verarbeiten, es bildet keine konkrete Testaufgabe ab.
Was es in der Praxis konkret bedeutet
Eine Angabe wie „eine Million Tokens" beschreibt Kapazität, nicht Leistung. Wenn deine Anwendung lange Dokumente auswertet, teste an deinen eigenen Unterlagen, und zwar mit Aufgaben, die mehrere Stellen verknüpfen. Ein bestandener Suchtest sagt darüber nichts aus.
Wo es verwechselt wird
RULER ist synthetisch: Die Texte sind konstruiert, damit die Länge sauber einstellbar bleibt. LongBench v2 nutzt echte Dokumente. Beide messen Langkontext, aber nicht dasselbe, und ihre Werte sind nicht austauschbar.
Verwandte Begriffe
Context Window, Effective Context, Lost in the Middle, Long-Range Reasoning, Benchmark, Needle in a Haystack.