Feature

In der Interpretierbarkeitsforschung ist ein Feature ein Merkmal, das ein Modell intern repräsentiert: etwa das Konzept einer bestimmten Farbe, einer Textsorte oder einer Beziehung zwischen Wörtern. Die Grundannahme lautet, dass solche Merkmale sich als Richtungen im Aktivierungsraum beschreiben lassen. Olah et al.

Ein Merkmal ist nicht dasselbe wie ein Neuron

Naheliegend wäre, jedes Neuron als ein Merkmal zu lesen. In Bildmodellen klappt das gelegentlich, in Sprachmodellen fast nie. Ein einzelnes Neuron reagiert dort typischerweise auf mehrere unzusammenhängende Dinge, was die Deutung einzelner Einheiten unbrauchbar macht. Elhage et al.

Deshalb hat sich die Richtung als Einheit durchgesetzt: eine bestimmte Kombination von Neuronenaktivitäten, die gemeinsam ein Merkmal tragen. Merkmale in diesem Sinn lassen sich nicht ablesen, sondern nur durch Verfahren herausrechnen und müssen anschließend von Menschen benannt werden.

So kannst du dir das vorstellen

Ein Instrument in einem Orchester, das nie allein spielt. Die Melodie ist trotzdem da, sie steckt in der Kombination mehrerer Stimmen. Das Bild erklärt, warum Merkmale über mehrere Einheiten verteilt liegen, es beschreibt keine konkrete Zerlegung.

Was es in der Praxis konkret bedeutet

Die Bedeutung eines Merkmals ist eine Deutung durch Menschen, keine Eigenschaft des Modells. Wenn ein Bericht sagt, ein Modell habe ein Merkmal für eine bestimmte Eigenschaft, steckt dahinter meist: Ein Verfahren hat eine Richtung gefunden, und jemand hat sie nach den Texten benannt, bei denen sie stark reagiert. Diese Benennung kann zu eng oder zu weit sein.

Wo es verwechselt wird

Im maschinellen Lernen allgemein meint Feature eine Eingabegröße, also eine Spalte in den Daten. Hier ist etwas anderes gemeint: ein intern gelerntes Merkmal. Und ein Merkmal ist kein Schalter: Es lässt sich beeinflussen, aber nicht einfach an- oder abstellen.

Verwandte Begriffe

Activation, Superposition, Polysemanticity, Sparse Autoencoder, Feature Steering, Circuit.