ZeRO

ZeRO steht für Zero Redundancy Optimizer und beseitigt eine Verschwendung beim verteilten Training: Wenn jede Karte eine vollständige Kopie hält, liegen Optimiererzustände, Gradienten und Gewichte vielfach identisch vor. Das Verfahren teilt diese drei Posten auf die Karten auf, statt sie zu vervielfachen. Rajbhandari et al.

Drei Stufen mit wachsender Wirkung

Die erste Stufe verteilt die Optimiererzustände, die beim üblichen Trainingsverfahren ein Mehrfaches der Modellgröße belegen. Die zweite verteilt zusätzlich die Gradienten, die dritte auch die Gewichte selbst. Mit jeder Stufe sinkt der Speicherbedarf pro Karte, und der Kommunikationsaufwand steigt.

Der Unterschied zur Aufteilung der Rechenoperationen liegt im Ansatzpunkt: Dort wird die Rechnung zerlegt, hier die Speicherhaltung. Shoeybi et al. Beide werden in großen Trainingsläufen kombiniert.

So kannst du dir das vorstellen

Zehn Sachbearbeiter, von denen bisher jeder dasselbe vollständige Archiv im Schrank hatte. Nun teilen sie es auf und holen sich, was sie gerade brauchen. Weniger Platzbedarf, mehr Wege. Das Bild erklärt den Tausch von Speicher gegen Kommunikation, es beschreibt kein konkretes Verfahren.

Was es in der Praxis konkret bedeutet

Das Verfahren betrifft Training, nicht Inferenz. Relevant wird es, wenn du ein Modell selbst anpasst und der Speicher nicht reicht: Die Stufen sind in gängigen Trainingsbibliotheken als Konfigurationsoption verfügbar. Faustregel: die niedrigste Stufe wählen, die passt, denn jede weitere kostet Zeit durch zusätzliche Kommunikation.

Wo es verwechselt wird

ZeRO ist kein Parallelisierungsverfahren im eigentlichen Sinn, sondern eine Speicherstrategie innerhalb der Datenparallelität. Und es spart Speicher im Training, nicht beim Ausführen eines fertigen Modells.

Verwandte Begriffe

Data Parallelism, Tensor Parallelism, Pipeline Parallelism, Fine-Tuning, VRAM, Compute.