Linear Probe

Ein Linear Probe ist ein einfacher Klassifikator, der auf die Zwischenzustände eines Modells angesetzt wird. Er wird getrennt vom Modell trainiert und beantwortet eine Frage: Lässt sich aus dem Zustand an dieser Stelle eine bestimmte Information ablesen, etwa die Sprache eines Textes oder die Stimmung eines Satzes. Alain und Bengio

Bewusst einfach gehalten

Dass der Klassifikator linear ist, hat einen Grund. Ein leistungsfähiger Klassifikator könnte die gesuchte Information aus fast allem herausrechnen, und dann sagt der Erfolg mehr über den Klassifikator als über das Modell. Ein linearer Klassifikator findet nur, was ohnehin klar in den Zuständen angelegt ist.

Der Ansatz ist auch der Ausgangspunkt für Verfahren, die Verhalten über interne Repräsentationen steuern. Wer eine Richtung findet, die eine Eigenschaft anzeigt, kann versuchen, entlang dieser Richtung einzugreifen. Zou et al.

So kannst du dir das vorstellen

Ein Messgerät, das an verschiedenen Stellen einer Leitung prüft, ob ein bestimmtes Signal schon vorhanden ist. Wo es anschlägt, ist die Information angekommen. Das Bild erklärt die Idee des Auslesens, es setzt Modelle nicht mit Leitungen gleich.

Was es in der Praxis konkret bedeutet

Aus dieser Methodenfamilie stammen viele Aussagen über das, was Modelle intern angeblich wissen, etwa ob eine Antwort zutrifft oder wie sicher sich ein Modell ist. Behandle solche Meldungen vorsichtig: Ablesbar heißt nicht, dass das Modell die Information bei seiner Antwort auch benutzt. Der Nachweis dafür braucht einen Eingriff, kein Auslesen.

Wo es verwechselt wird

Eine gelungene Auslesung zeigt, dass Information vorhanden ist, nicht dass sie verwendet wird. Und Probes untersuchen das Modell, ohne es zu verändern, anders als Verfahren, die in Aktivierungen eingreifen.

Verwandte Begriffe

Activation, Feature, Logit Lens, Feature Steering, Activation Patching, Mechanistic Interpretability.