Hardware, Laufzeitumgebungen und Entwicklerökosystem
llama.cpp
Laufzeitprojekt für effiziente lokale Modellinferenz.
llama.cpp ist eine Laufzeitumgebung für Sprachmodelle in C und C++, ausgelegt auf Betrieb ohne schweren Unterbau. Sie läuft auf Prozessoren ebenso wie auf Grafikkarten verschiedener Hersteller, braucht keine Python-Umgebung und bringt einen Server mit, der eine Schnittstelle im verbreiteten Format bereitstellt. llama.cpp
Der Nutzen liegt in der Anspruchslosigkeit
Das Projekt hat lokalen Modellbetrieb aus dem Forschungsumfeld auf Alltagsgeräte gebracht. Modelle werden im zugehörigen Einzeldateiformat geladen, das Gewichte und Metadaten zusammenfasst. ggml Aus demselben Umfeld stammen die Quantisierungsformate, die den Betrieb auf wenig Speicher ermöglichen.
Viele Werkzeuge mit grafischer Oberfläche setzen darauf auf, ohne das zu betonen. Wer solche Programme benutzt, benutzt es oft mittelbar.
So kannst du dir das vorstellen
Ein Motor, der in vielen verschiedenen Fahrzeugen steckt. Man sieht ihn nicht, aber er bestimmt, was das Fahrzeug leisten kann. Das Bild erklärt die Rolle als Unterbau, es vergleicht keine Produkte.
Was es in der Praxis konkret bedeutet
Für lokale Arbeit ist das der direkte Weg: Modell herunterladen, Server starten, bestehende Anwendungen auf die lokale Adresse zeigen lassen. Wichtige Stellschrauben sind die Zahl der auf die Grafikkarte ausgelagerten Schichten, die Kontextlänge und die Zahl paralleler Anfragen. Für produktiven Serverbetrieb mit vielen gleichzeitigen Nutzern sind andere Umgebungen besser geeignet.
Wo es verwechselt wird
Der Name stammt vom ersten unterstützten Modell, die Umgebung führt aber Modelle vieler Architekturen aus. Und sie ist keine Oberfläche: Bedient wird sie über Kommandozeile oder eine Schnittstelle, Programme mit Oberfläche setzen darauf auf.