Needle in a Haystack

Needle in a Haystack, abgekürzt NIAH, ist ein einfacher Test für lange Kontexte: Ein bestimmter Satz wird an einer Stelle in einen sehr langen Text eingefügt, und das Modell soll ihn auf Nachfrage wiedergeben. Variiert werden dabei die Länge des Textes und die Position des eingefügten Satzes. Kamradt

Der Test ist leicht zu bestehen und deshalb begrenzt aussagekräftig

Das Ergebnis lässt sich als Karte darstellen: Länge auf der einen Achse, Position auf der anderen. Gut sichtbar werden damit Stellen, an denen ein Modell Inhalte übersieht.

Die Grenze des Tests liegt in seiner Einfachheit. Es geht um wörtliches Wiederfinden einer klar abgegrenzten Angabe, nicht um Verstehen. Weitergehende Untersuchungen zu langen Kontexten prüfen deshalb anspruchsvollere Aufgaben und finden dabei Unterschiede zwischen beworbener Kontextgröße und tatsächlicher Leistungsfähigkeit. Hsieh et al.: RULER

So kannst du dir das vorstellen

Der Test entspricht der Frage, ob jemand ein farbiges Lesezeichen in einem dicken Buch wiederfindet. Dass er es findet, heißt nicht, dass er das Buch verstanden hat. Das Bild erklärt die Reichweite des Tests, es wertet ihn nicht ab.

Was es in der Praxis bedeutet

Für die Auswahl eines Modells taugt ein bestandener Nadeltest als Mindestanforderung, nicht als Nachweis. Wer wissen will, ob ein Modell mit langen Dokumenten umgehen kann, prüft mit eigenen Aufgaben: Angaben aus mehreren Stellen verbinden, Widersprüche im Dokument erkennen, eine Frist aus einer Tabelle ziehen.

Nützlich ist die Grundidee für eigene Tests: eine bekannte Angabe an verschiedenen Stellen im Kontext platzieren und sehen, ab welcher Länge und an welcher Position Antworten schlechter werden.

Wo es verwechselt wird

Ein bestandener Test bedeutet nicht, dass der Kontext insgesamt gut genutzt wird. Und die beworbene Kontextgröße eines Modells sagt nichts darüber, bis zu welcher Länge es zuverlässig arbeitet.

Verwandte Begriffe

Context Window, Effective Context, Benchmark, Evaluation, Long-Horizon Task.