Multi-Head Latent Attention

Multi-Head Latent Attention, kurz MLA, ist eine Attention-Architektur, die Key- und Value-Informationen gemeinsam in einer kleineren latenten Darstellung zusammenfasst, um den Zwischenspeicher bei der Generierung zu reduzieren. (DeepSeek-V2) „Latent“ bezeichnet dabei eine interne, gelernte Zahlendarstellung und keine lesbare Zusammenfassung des Textes. (DeepSeek-V2)

So kannst du dir das vorstellen

Stell dir vor, eine technische Zeichnung wird nicht als viele getrennte Ansichten abgelegt. Stattdessen speicherst du einen kompakten Satz gemeinsamer Konstruktionsdaten, aus dem die benötigten Ansichten berechnet werden können.

Das Bild erklärt, warum nicht jede ausführliche Darstellung dauerhaft vorhanden sein muss. Die Analogie hat eine Grenze: MLA arbeitet mit gelernten Projektionen von Zahlenvektoren, nicht mit einer garantiert verlustfreien Dateiarchivierung.

Was tatsächlich im Cache bleibt

In der zugrunde liegenden Architektur wird die interne Darstellung eines Tokens zunächst auf einen kleineren gemeinsamen Key-Value-Vektor projiziert. (DeepSeek-V2) Die zugehörigen Key- und Value-Projektionen lassen sich für die Berechnung so umformen, dass große entfaltete Darstellungen nicht vollständig im Cache gespeichert werden müssen. (DeepSeek-V2)

Zusätzlich besitzt MLA dort einen getrennten Anteil für die Positionskodierung mit RoPE; gespeichert werden daher der komprimierte Vektor und ein entsprechender Positions-Key. (DeepSeek-V2) „Im Cache liegt nur eine einzige komprimierte Information ohne weitere Bestandteile“ wäre zu grob.

Unterschied zu anderen Sparverfahren

MQA und GQA reduzieren die Zahl verschiedener Key-Value-Köpfe durch gemeinsame Nutzung, während MLA in der beschriebenen Konstruktion eine niedrigdimensionale gemeinsame Darstellung und angepasste Projektionen verwendet. (DeepSeek-V2) Diese Unterscheidung ist wichtig, wenn du Cache-Größen verschiedener Architekturen vergleichen möchtest.

MLA kürzt dabei nicht deinen Prompt auf wenige Sätze und ist keine allgemeine Kompression sämtlicher Modellgewichte. (DeepSeek-V2) Für eine Betriebsentscheidung solltest du den konkreten Speicherbedarf und die Laufzeit der vorgesehenen Implementierung prüfen, statt aus dem Wort „komprimiert“ eine feste Einsparung abzuleiten.

Verwandte Begriffe

Hierzu passen KV Cache, Grouped-Query Attention, Multi-Query Attention, RoPE und Attention Head.