GGUF

GGUF ist ein Binärformat, das ein Modell vollständig in einer Datei ablegt: Gewichte, Aufbau, Tokenizer und Metadaten. Der Entwurf verfolgt vier Ziele: alles in einer Datei, erweiterbar ohne Bruch der Kompatibilität, schnelles Laden über direkte Einblendung in den Speicher, und Lesbarkeit ohne zusätzliche Bibliotheken. ggml

Eine Datei statt eines Verzeichnisses

Der Unterschied zur Welt der Trainingsframeworks ist praktisch spürbar. Dort liegt ein Modell als Verzeichnis vor, mit getrennten Dateien für Gewichte, Konfiguration und Tokenizer. Fehlt eine davon oder passt eine Version nicht, lädt das Modell nicht.

Bei GGUF steckt alles in einer Datei, einschließlich der Angaben, die zum Ausführen nötig sind. Das macht Weitergabe und Betrieb auf Endgeräten einfach und ist der Grund, warum das Format im Umfeld lokaler Modelle vorherrscht. Die Metadaten folgen einer Schlüssel-Wert-Struktur, sodass neue Angaben ergänzt werden können, ohne ältere Dateien unlesbar zu machen. Hugging Face

So kannst du dir das vorstellen

Ein Möbelstück, das fertig montiert geliefert wird, statt als Karton mit Teilen, Anleitung und Schraubenbeutel. Weniger kann fehlen, und es steht schneller. Das Bild erklärt den Vorteil der Einzeldatei, es bewertet andere Formate nicht.

Was es in der Praxis konkret bedeutet

Wenn du Modelle lokal betreibst, ist das dein Standardformat. Achte beim Herunterladen auf zwei Dinge: die Quantisierungsstufe im Dateinamen und die Dateigröße im Verhältnis zu deinem Speicher. Bei sehr großen Modellen kommt die Datei in mehreren Teilen, die zusammengehören. Für Training und Anpassung ist GGUF dagegen nicht gedacht, dort bleibst du bei den Formaten der Trainingsframeworks.

Wo es verwechselt wird

GGUF ist ein Container, keine Quantisierungsmethode. Eine GGUF-Datei kann unkomprimierte Gewichte enthalten. Und es ist nicht das Nachfolgeformat für alle Zwecke, sondern das Format der Laufzeitumgebungen aus dem ggml-Umfeld.

Verwandte Begriffe

GGML, K-Quants, safetensors, llama.cpp, Sharded Weights, Quantization.