Architektur und interne Modellbausteine
State Space Model
Heißt auch SSM oder Zustandsraummodell.
Sequenzmodell mit fortgeschriebenem internem Zustand.
Ein State Space Model, kurz SSM oder Zustandsraummodell, beschreibt die Verarbeitung einer Folge mithilfe eines internen Zustands, der mit jeder neuen Eingabe aktualisiert und zur Ausgabe verwendet wird. (Gu und Dao) Im Kontext neuronaler Sequenzmodelle werden solche Zustandsübergänge durch gelernte Parameter bestimmt. (Gu und Dao)
So kannst du dir das vorstellen
Stell dir vor, du liest fortlaufend Statusmeldungen einer Maschine und führst eine kompakte Übersicht über ihren aktuellen Zustand. Jede Meldung verändert diese Übersicht. Für die nächste Einschätzung nutzt du die neue Meldung und den bisherigen Stand.
Du blätterst dafür nicht bei jedem Schritt durch sämtliche alten Meldungen. Das Bild erklärt den fortgeschriebenen Zustand, aber nicht dessen Qualität: Eine kompakte Übersicht muss nicht alle Einzelheiten der Vergangenheit bewahren.
Vom bisherigen Zustand zum nächsten
In einer diskreten SSM-Darstellung wird der nächste Zustand aus dem vorherigen Zustand und der aktuellen Eingabe berechnet; eine weitere Abbildung erzeugt daraus die Ausgabe. (Mamba-Originalarbeit) Der Zustand ist dabei ein Zahlenvektor oder eine entsprechende Zahlenstruktur, kein ausformulierter Gedächtnistext. (Mamba-Originalarbeit)
Bei zeitinvarianten linearen SSMs bleiben die Übergangsregeln über die Folge hinweg gleich; selektive Varianten wie Mamba machen bestimmte Größen vom aktuellen Input abhängig. (Mamba-Originalarbeit) So unterscheiden sich Modelle nicht nur in der Zustandsgröße, sondern auch darin, wie sie Informationen übernehmen oder weitertragen.
Unterschied zum direkten Rückgriff auf Positionen
Vollständige Attention kann explizit zwischen zugänglichen Positionen vergleichen, während ein rekurrent ausgeführtes SSM die Vergangenheit im fortgeschriebenen Zustand zusammenfasst. (Mamba-Originalarbeit) Ein Zustand mit fester Größe wächst deshalb nicht automatisch mit jedem weiteren Token zu einer vollständigen Ablage aller bisherigen Darstellungen. (Mamba-Originalarbeit)
Auch „rekurrent“ bedeutet nicht, dass jede Trainingsberechnung zwangsläufig vollständig nacheinander laufen muss: Geeignete SSM-Verfahren erlauben parallelisierte Berechnungen über Folgen. (Mamba-Originalarbeit) Beurteile lange Sequenzen deshalb anhand des konkreten Verfahrens und seiner Ergebnisse, nicht allein anhand der Architekturbezeichnung.
Verwandte Begriffe
Weiterführen können Mamba, Transformer, Attention, Kontextfenster und Autoregressives Modell.