---
term: "Logit Lens"
slug: "logit-lens"
glossar_id: "G544"
variants: []
category: "interpretierbarkeit-und-fortgeschrittene-alignment-risiken"
marker: "Technik"
short: "Abbilden interner Zwischenzustände auf mögliche Tokenvorhersagen."
sources:
  - label: "Belrose et al.: Eliciting Latent Predictions from Transformers with the Tuned Lens"
    url: "https://arxiv.org/abs/2303.08112"
  - label: "Elhage et al.: A Mathematical Framework for Transformer Circuits"
    url: "https://transformer-circuits.pub/2021/framework/index.html"
status: "entwurf"
updated: "2026-09-21"
---

Die Logit Lens macht sichtbar, worauf ein Modell mitten in der Verarbeitung hinausläuft. Dazu wird der Zwischenzustand einer Schicht so behandelt, als wäre er bereits das Endergebnis, und in eine Verteilung über mögliche nächste Tokens umgerechnet. So entsteht für jede Schicht eine Momentaufnahme der Vorhersage. [Belrose et al.](https://arxiv.org/abs/2303.08112)

## Vorhersagen werden schichtweise geschärft

Das Verfahren stützt die Sicht auf Transformer als schrittweise Verfeinerung: Frühe Schichten liefern grobe, oft unbrauchbare Vorhersagen, spätere schärfen sie nach. [Elhage et al.](https://transformer-circuits.pub/2021/framework/index.html) Sichtbar wird auch, an welcher Stelle sich eine Entscheidung festigt.

Die einfache Variante hat eine bekannte Schwäche: Bei manchen Modellen liefert sie in mittleren Schichten Unsinn, weil die Zwischenzustände nicht im selben Maßstab liegen wie der Endzustand. Die verbesserte Fassung lernt deshalb für jede Schicht eine eigene Anpassung, bevor sie umrechnet.

## So kannst du dir das vorstellen

Eine Fotoserie während der Entwicklung eines Bildes im Labor. Die frühen Aufnahmen zeigen Umrisse, die späten das Motiv. Das Bild erklärt die schichtweise Schärfung, es beschreibt keinen konkreten Rechenweg.

## Was es in der Praxis konkret bedeutet

Im Alltag begegnet dir das Verfahren als Grundlage für Aussagen darüber, wann ein Modell eine Antwort „schon weiß". Für die Einordnung ist wichtig: Sichtbar ist, was aus dem Zwischenzustand ablesbar wäre, nicht notwendigerweise, was das Modell tatsächlich weiterverwendet. Und je nach Fassung des Verfahrens fallen die Ergebnisse unterschiedlich aus.

## Wo es verwechselt wird

Die Zwischenvorhersagen sind keine Gedanken und keine Entwürfe des Modells, sondern Umrechnungen eines Zustands, den das Modell selbst nie als Ausgabe behandelt. Und sie haben nichts mit sichtbaren Gedankenketten zu tun, die als Text erzeugt werden.

## Verwandte Begriffe

**Linear Probe**, **Activation**, **Mechanistic Interpretability**, **Chain of Thought**, **Logits**, **Circuit**.