---
term: "RMSNorm"
slug: "rmsnorm"
glossar_id: "G077"
variants: ["Root Mean Square Layer Normalization"]
category: "architektur-und-interne-modellbausteine"
marker: "Technik"
short: "Normalisierung anhand des quadratischen Mittelwerts der Merkmale."
sources:
  - label: "Zhang und Sennrich"
    url: "https://arxiv.org/pdf/1910.07467"
  - label: "Xiong et al."
    url: "https://arxiv.org/pdf/2002.04745"
status: "entwurf"
updated: "2026-09-20"
---

RMSNorm ist ein Normalisierungsverfahren, das die Größenordnung einer internen Zahlendarstellung mithilfe ihres quadratischen Mittelwerts vereinheitlicht und anschließend gelernte Skalierungsfaktoren anwendet. ([Zhang und Sennrich](https://arxiv.org/pdf/1910.07467)) „RMS“ steht für Root Mean Square, also die Wurzel aus dem Mittelwert der quadrierten Werte. ([Zhang und Sennrich](https://arxiv.org/pdf/1910.07467))

## So kannst du dir das vorstellen

Stell dir mehrere Messkanäle vor, deren Ausschläge insgesamt unterschiedlich groß werden. Bevor die nächste Verarbeitung beginnt, wird die gemeinsame Größenordnung angepasst, während Unterschiede zwischen den Kanälen erhalten bleiben können.

Als einfaches, frei gewähltes Zahlenbeispiel hat der Vektor aus 3 und 4 einen RMS-Wert von ungefähr 3,54. Dafür werden 9 und 16 gemittelt und anschließend die Quadratwurzel gezogen. Das Beispiel erklärt nur die Grundrechnung; gelernte Skalierung und technische Stabilisierung sind darin nicht dargestellt.

## Der Unterschied zu LayerNorm

RMSNorm teilt die Komponenten durch die RMS-Größe und verzichtet dabei auf das vorherige Abziehen ihres Mittelwerts. ([Originalarbeit](https://arxiv.org/pdf/1910.07467)) LayerNorm enthält dagegen zusätzlich eine Zentrierung um den Mittelwert. ([Originalarbeit](https://arxiv.org/pdf/1910.07467))

Die Autoren untersuchen, ob die Stabilisierung der Skala ohne diese Zentrierung ausreicht, und beschreiben RMSNorm als rechnerisch einfachere Alternative. ([Originalarbeit](https://arxiv.org/pdf/1910.07467)) Daraus sollte keine universelle Geschwindigkeitsangabe für jede Hardware und jedes Modell abgeleitet werden.

## Welche Werte normalisiert werden

RMSNorm bearbeitet Aktivierungen, also die bei der Verarbeitung entstehenden internen Werte, mit zusätzlich gelernten Skalierungsparametern. ([Originalarbeit](https://arxiv.org/pdf/1910.07467)) Es ist keine nachträgliche Bereinigung deiner Trainingsdateien und keine Umwandlung von Ausgabewerten in Wahrscheinlichkeiten.

Auch die Position des Normalisierungsschritts ist eine eigene Architekturentscheidung: Pre-Norm und Post-Norm unterscheiden, ob vor dem Teilblock oder nach dessen Residualaddition normalisiert wird. ([Xiong et al.](https://arxiv.org/pdf/2002.04745)) Für das Lesen eines Modellplans solltest du deshalb zwei Fragen getrennt beantworten: Welches Normalisierungsverfahren wird verwendet, und wo sitzt es?

## Verwandte Begriffe

Passend sind **Pre-Norm / Post-Norm**, **Residual Stream**, **Hidden Size**, **Model Parameters** und **Transformer**.