Hidden Size

Hidden Size bezeichnet in der hier verwendeten Bedeutung die Breite eines internen Repräsentationsvektors, also die Anzahl seiner Zahlenkomponenten pro Position. (Hugging Face) Bei einem Transformer ist sie eine andere Größe als die Länge der Tokenfolge oder die Zahl der Modellschichten. (Hugging Face, Originalarbeit)

So kannst du dir das vorstellen

Stell dir eine Tabelle vor, in der jede Zeile eine Textposition darstellt. Die Spalten enthalten interne Merkmalswerte für diese Position.

In einem frei gewählten Beispiel hätte ein Text aus 20 Tokens bei einer Hidden Size von 64 eine Darstellung mit 20 Zeilen und 64 Werten pro Zeile. Mehr Text verlängert hier die Tabelle, eine größere Hidden Size verbreitert sie. Die Spalten sind allerdings nicht automatisch mit verständlichen Eigenschaften wie „Höflichkeit“ oder „Preisbezug“ beschriftet.

Breite, Länge und Tiefe auseinanderhalten

Modellausgaben mit versteckten Zuständen werden häufig mit den Achsen Stapelgröße, Folgenlänge und Hidden Size beschrieben. (Hugging Face) Die Stapelgröße zählt gemeinsam verarbeitete Beispiele, die Folgenlänge ihre Tokenpositionen und Hidden Size die Zahlen pro Darstellung. (Hugging Face)

Die Tiefe beschreibt dagegen aufeinanderfolgende Schichten; im ursprünglichen Transformer durchlaufen Darstellungen mehrere solcher Blöcke mit derselben Modellbreite. (Vaswani et al.) Breite und Tiefe sind deshalb nicht austauschbar.

„Hidden“ ist nicht überall dieselbe Dimension

Innerhalb eines Feed-Forward-Netzes kann es einen breiteren Zwischenraum geben als im durchgehenden Modellpfad; die Originalarbeit unterscheidet dafür Modellbreite und FFN-Breite. (Originalarbeit) Auch Modellberichte können eine innere FFN-Dimension separat als „hidden dimension“ aufführen. (Mistral 7B)

Prüfe daher immer, auf welchen Baustein sich eine Dimensionsangabe bezieht. Für einen Modellvergleich würde ich Hidden Size zusammen mit Schichtzahl, FFN-Aufbau und Attention-Konfiguration lesen, statt sie als alleinigen Maßstab für die Leistungsfähigkeit zu verwenden.

Verwandte Begriffe

Passend sind Embedding, Feed-Forward Network, Attention Head, Residual Stream und Model Parameters.