Training, Daten und Modellanpassung
DoRA
Heißt auch Weight-Decomposed Low-Rank Adaptation.
Anpassung mit getrennter Behandlung von Gewichtsbetrag und -richtung.
DoRA steht für Weight-Decomposed Low-Rank Adaptation und erweitert LoRA um eine getrennte Behandlung von Betrag und Richtung der Gewichte. (Hugging Face LoRA-Dokumentation) Die Richtung wird über eine niedrig-rangige Anpassung verändert, während der Betrag separat trainiert wird. (Hugging Face LoRA-Dokumentation)
So kannst du dir das vorstellen
Stell dir einen Pfeil vor, der eine Richtung und eine Länge hat. Du könntest ihn anders ausrichten, länger machen oder beides verändern.
DoRA nutzt diese Unterscheidung als mathematische Idee für die Gewichtsanpassung. Das Modell besteht natürlich nicht aus sichtbaren Wegweisern; das Pfeilbild soll lediglich zeigen, warum zwei getrennt behandelbare Eigenschaften mehr sind als ein einziger pauschaler Verstärkungsregler.
Was gegenüber LoRA hinzukommt
LoRA beschreibt die Änderung einer Gewichtsmatrix durch zwei kleinere trainierbare Matrizen. (Hugging Face LoRA-Dokumentation) DoRA ergänzt die niedrig-rangige Richtungsanpassung um einen eigenen lernbaren Betrag und verursacht damit zusätzlichen Aufwand gegenüber einfachem LoRA. (Hugging Face LoRA-Dokumentation)
In der PEFT-Bibliothek wird die Variante über eine eigene DoRA-Option aktiviert. (Hugging Face LoRA-Dokumentation) Sie ist also nicht bloß ein anderer Name für ein gewöhnliches LoRA-Training mit höherem Rang.
Qualität und Aufwand gemeinsam vergleichen
Die Dokumentation beschreibt DoRA als Ansatz, der insbesondere bei niedrigen Rängen Verbesserungen ermöglichen kann; daraus folgt keine Garantie für jede Aufgabe und Konfiguration. (Hugging Face LoRA-Dokumentation) Unterstützte DoRA-Anpassungen können für den Einsatz zusammengeführt werden, um zusätzlichen Betriebsaufwand zu vermeiden. (Hugging Face LoRA-Dokumentation)
Für einen Vergleich würde ich Daten, Basismodell und Prüfaufgaben konstant halten. Bewerte dann neben der Antwortqualität auch Trainingsspeicher, Laufzeit und den vorgesehenen Bereitstellungsweg. Ein identischer Rang bedeutet hier nicht automatisch ein identisches Ressourcenbudget, weil DoRA zusätzliche trainierbare Bestandteile mitbringt.
Verwandte Begriffe
Eng verwandt sind Low-Rank Adaptation, rsLoRA, Parameter-Efficient Fine-Tuning, Model Parameters und Adapter Merging.