Feature Steering

Feature Steering verändert das Verhalten eines Modells, indem es während der Verarbeitung an internen Repräsentationen dreht. Wird ein Merkmal, das einem bestimmten Konzept entspricht, künstlich verstärkt, zieht sich das Konzept durch die Ausgaben, auch wenn davon im Prompt keine Rede war. Templeton et al.

Eingriff ohne Training

Der Unterschied zu anderen Wegen ist der Zeitpunkt. Ein Prompt beeinflusst das Modell über die Eingabe, Training verändert die Gewichte dauerhaft. Steuerung über Repräsentationen greift dazwischen: Sie wirkt zur Laufzeit, ohne die Gewichte anzufassen, und lässt sich abschalten. Zou et al.

Als Anwendung wird vor allem Sicherheit genannt, etwa das Dämpfen von Merkmalen, die mit unerwünschtem Verhalten zusammenhängen. Nebenwirkungen sind dabei die Regel: Zu starkes Eingreifen macht Ausgaben unbrauchbar, und weil Merkmale sich Einheiten teilen, trifft ein Eingriff selten nur das Gewünschte.

So kannst du dir das vorstellen

Ein Equalizer, mit dem du einen Frequenzbereich anhebst. Bei moderater Einstellung klingt die Stimme klarer, bei starker Anhebung wird alles schrill. Das Bild erklärt die Dosierungsfrage, es beschreibt keinen konkreten Eingriff.

Was es in der Praxis konkret bedeutet

Über eine Schnittstelle steht dieses Werkzeug nicht zur Verfügung; es setzt Zugriff auf die Interna voraus. Relevant ist es für dich, wenn du eigene Modelle betreibst, und als Einordnungshilfe für Sicherheitsmeldungen. Bei einer solchen Meldung sind zwei Fragen angebracht: Wie stark wurde eingegriffen, und was hat der Eingriff außerdem verändert.

Wo es verwechselt wird

Steuerung über Repräsentationen ist kein Feintuning, denn die Gewichte bleiben unverändert. Und sie ist kein Systemprompt: Sie wirkt unterhalb der Textebene und lässt sich durch geschickte Eingaben nicht einfach umgehen.

Verwandte Begriffe

Monosemanticity, Sparse Autoencoder, Refusal Direction, Activation Patching, Feature, Safety Training.