Attention Budget

Attention Budget ist eine Metapher für die begrenzte Fähigkeit eines Modells, bereitgestellte Kontextinformationen wirksam zu berücksichtigen. Anthropic: Context Engineering Das Bild erklärt, warum zusätzliche Tokens nicht automatisch zu einer besseren Nutzung des gesamten Materials führen. Anthropic: Context Engineering

Keine zweite auslesbare Tokenkasse

Das Attention Budget ist hier kein standardisierter Schnittstellenparameter und keine feste Zahl neben dem Kontextfenster. Die Metapher beschreibt eine praktische Begrenzung der Informationsnutzung, nicht eine dokumentierte technische Abschaltschwelle. Anthropic: Context Engineering

Davon zu unterscheiden ist Attention als Bestandteil der Modellverarbeitung. Das Budgetbild leitet daraus die Empfehlung ab, relevante Informationen gezielt bereitzustellen, ohne jeder Aufgabe einen festen „Aufmerksamkeitsverbrauch“ zuzuweisen. Anthropic: Context Engineering

Langkontextstudien stützen die Notwendigkeit dieser Unterscheidung: Technisch zulässige Eingaben können je nach Aufgabe und Aufbau unterschiedlich zuverlässig ausgewertet werden. Hsieh et al.: RULER Chroma: Context Rot

So kannst du dir das vorstellen

Als menschliche Analogie kannst du an eine Besprechungsmappe denken. Dass alle Unterlagen hineinpassen, bedeutet noch nicht, dass jedes Detail während einer konkreten Entscheidung sinnvoll berücksichtigt wird.

Für einen hypothetischen KI-Auftrag würdest du deshalb die benötigten Belege und Bedingungen hervorheben, statt möglichst viele Dokumente ohne erkennbare Ordnung beizulegen. Die Mappe steht dabei für die bereitgestellten Informationen, nicht für ein menschliches Bewusstsein im Modell.

Die Analogie darf auch nicht wörtlich als Ermüdung verstanden werden. Sie erklärt ein Gestaltungsproblem, keinen nachgewiesenen psychologischen Zustand.

Informationswert statt bloßer Kürze

Gängig ist die Empfehlung, möglichst wenige, aber ausreichend hochwertige Kontextbestandteile zu verwenden. Anthropic: Context Engineering Ein fehlender entscheidender Beleg wäre daher keine sinnvolle Einsparung.

Für die Praxis würde ich zwei Fragen verbinden: Welche Angaben braucht die Aufgabe unbedingt, und welche zusätzlichen Inhalte erschweren eher die Auswahl? Ob diese Einschätzung richtig war, müsste sich an geprüften Antworten zeigen, nicht allein an einer sinkenden Tokenzahl.

Verwandte Begriffe

Attention, Token Budget, Effective Context, Context Curation, Minimum Viable Context.