Activation

Eine Aktivierung ist ein Zwischenwert im Modell: die Zahlenwerte, die eine Schicht ausgibt, während eine Eingabe verarbeitet wird. Anders als die Gewichte, die nach dem Training feststehen, entstehen Aktivierungen bei jedem Durchlauf neu und hängen von der konkreten Eingabe ab. Elhage et al.

Der Zustandsstrom durch das Modell

In Transformern wird oft vom Residualstrom gesprochen: einer Art Datenleitung, die durch alle Schichten läuft und in die jede Komponente ihr Ergebnis hineinschreibt. Was an einer bestimmten Stelle in dieser Leitung steht, ist der Zustand des Modells an diesem Punkt der Verarbeitung.

Für die Interpretierbarkeit sind Aktivierungen der zentrale Ansatzpunkt, weil sie den Bezug zur konkreten Eingabe herstellen. Gewichte sagen, was das Modell tun kann, Aktivierungen zeigen, was es bei diesem Text gerade tut. Praktisch werden sie aufgezeichnet, verglichen, zerlegt und gezielt verändert. Elhage et al.: Toy Models

So kannst du dir das vorstellen

Die Messwerte an den Prüfpunkten einer Schaltung im Betrieb. Der Schaltplan zeigt den Aufbau, die Messwerte zeigen, was in diesem Moment passiert. Das Bild erklärt den Unterschied zu den Gewichten, es setzt Modelle nicht mit Elektronik gleich.

Was es in der Praxis konkret bedeutet

Aktivierungen erklären, warum zwei nahezu gleiche Prompts zu verschiedenen Ergebnissen führen können: Der interne Zustand unterscheidet sich, nicht das Modell. Praktisch relevant werden sie außerdem beim Speicherbedarf, denn Aktivierungen belegen zur Laufzeit Grafikspeicher, was mit Kontextlänge und Stapelgröße wächst.

Wo es verwechselt wird

Aktivierung im Sinne von Zwischenwert ist etwas anderes als Aktivierungsfunktion, die Rechenvorschrift, die auf diese Werte angewendet wird. Und Aktivierungen sind keine Gedanken: Es sind Zahlenvektoren, deren Bedeutung erst durch Analyse erschlossen wird.

Verwandte Begriffe

Feature, Circuit, Activation Patching, Sparse Autoencoder, Superposition, Embedding.