Induction Head

Ein Induction Head ist ein Aufmerksamkeitsmechanismus mit einer einfachen Regel: Wenn die aktuelle Zeichenfolge schon einmal im Text vorkam, sage das voraus, was damals darauf folgte. Beschrieben wurde er als Zusammenspiel zweier Aufmerksamkeitsköpfe, von denen einer die frühere Stelle findet und der andere die Fortsetzung kopiert. Elhage et al.

Ein möglicher Ursprung des Lernens im Kontext

Interessant wurde der Mechanismus durch eine Beobachtung während des Trainings. Zu dem Zeitpunkt, an dem solche Köpfe entstehen, macht die Fähigkeit des Modells, aus Beispielen im Prompt zu lernen, einen deutlichen Sprung. Aus dieser und weiteren Übereinstimmungen wurde die Hypothese abgeleitet, dass dieser Mechanismus einen großen Teil des Lernens im Kontext trägt. Olsson et al.

Bewiesen ist das nicht, besonders nicht für große Modelle. Als Erklärung dafür, warum Beispiele im Prompt überhaupt wirken, ist es dennoch die am besten belegte Kandidatin.

So kannst du dir das vorstellen

Jemand liest ein Protokoll und stößt auf eine Formulierung, die schon einmal vorkam. Er blättert zurück, sieht, wie es damals weiterging, und schreibt dasselbe. Das Bild erklärt den Mechanismus, es unterstellt dem Modell keine bewusste Suche.

Was es in der Praxis konkret bedeutet

Daraus folgt eine brauchbare Faustregel für Prompts: Beispiele wirken über Musterfortsetzung. Wenn deine Beispiele im Aufbau von dem abweichen, was am Ende erzeugt werden soll, arbeitet dieser Mechanismus gegen dich. Einheitliche Struktur, gleiche Reihenfolge der Felder und gleiche Formatierung bei allen Beispielen helfen mehr als zusätzliche Erläuterungen.

Wo es verwechselt wird

Der Mechanismus kopiert Muster, er versteht sie nicht. Und er erklärt einen Teil des Lernens im Kontext, nicht das gesamte Verhalten eines Modells bei Beispielen.

Verwandte Begriffe

In-Context Learning, Circuit, Attention Head, Few-Shot Prompting, Mechanistic Interpretability, One-Shot Prompting.