Pre-Norm / Post-Norm

Pre-Norm und Post-Norm bezeichnen unterschiedliche Anordnungen eines Normalisierungsschritts relativ zu einem Transformer-Teilblock und seiner Residualverbindung. (Xiong et al.) Bei Pre-Norm wird die Eingabe des Teilblocks normalisiert, bei Post-Norm die Summe aus ursprünglicher Eingabe und Teilblockausgabe. (Xiong et al.)

So kannst du dir das vorstellen

Stell dir eine Bearbeitungsstation vor, die einem vorhandenen Messsignal einen Korrekturbeitrag hinzufügt. Du kannst die Größenordnung vor dem Berechnen dieses Beitrags anpassen. Oder du passt erst das bereits zusammengeführte Ergebnis an.

Beides enthält eine Normalisierung und eine Korrektur, aber in anderer Reihenfolge. Das Beispiel soll die Position des Eingriffs erklären, nicht behaupten, dass eine Reihenfolge bei jeder Aufgabe besser wäre.

Der Ablauf im Vergleich

Für einen vereinfachten Teilblock ergeben sich folgende Wege; zusätzliche Details wie Dropout sind hier bewusst weggelassen. (Xiong et al.)

• Pre-Norm: Eine normalisierte Kopie der Eingabe durchläuft Attention oder FFN; dessen Ergebnis wird zur ursprünglichen Eingabe addiert. (Xiong et al.)
• Post-Norm: Der Teilblock verarbeitet die Eingabe; nach der Addition zur ursprünglichen Eingabe wird die entstandene Summe normalisiert. (Xiong et al.)

Die untersuchte Pre-LN-Architektur enthält zusätzlich eine abschließende Normalisierung vor der Vorhersage. (Xiong et al.) „Pre“ schließt also nicht aus, dass an anderer Stelle des Gesamtmodells weitere Normalisierung vorkommt.

Weshalb die Reihenfolge eine Rolle spielt

Die Originaluntersuchung zeigt Unterschiede im Gradientenverhalten bei der Initialisierung und erklärt damit, warum Post-LN in ihren Versuchsanordnungen stärker auf einen vorsichtigen Anstieg der Lernrate angewiesen ist. (Xiong et al.) Gradienten sind die berechneten Änderungssignale, anhand derer das Training die Parameter anpasst. (Xiong et al.)

Daraus folgt kein allgemeines Qualitätsranking aller Modelle. Achte außerdem auf die Wortbedeutung: Pre-Norm bedeutet nicht „vor dem Training“, Post-Norm nicht „nach dem Training“. Die Begriffe beschreiben die Reihenfolge innerhalb der Modellberechnung. (Xiong et al.)

Verwandte Begriffe

Weiterführend sind RMSNorm, Residual Stream, Transformer, Feed-Forward Network und Training.