Modellzugang, Hosting und Unternehmensbereitstellung
Local LLM
Heißt auch Local AI oder Lokales Modell.
Modell, das lokal auf eigener beziehungsweise kontrollierter Hardware ausgeführt wird.
Ein Local LLM läuft auf dem Gerät vor dir, also auf Notebook, Arbeitsplatzrechner oder einer kleinen Maschine im Büro. Nichts verlässt das Gerät, und ohne Netzverbindung funktioniert es weiter. Werkzeuge dafür laden das Modell herunter und stellen eine Schnittstelle im verbreiteten Format bereit, an die bestehende Anwendungen andocken können. llama.cpp
Der begrenzende Faktor ist der Speicher
Ob ein Modell auf deinem Gerät läuft, entscheidet zuerst der verfügbare Grafik- oder Arbeitsspeicher. Deshalb kommen lokale Modelle fast immer in komprimierter Form, bei der die Gewichte mit geringerer Genauigkeit abgelegt werden. Das senkt den Speicherbedarf deutlich und kostet je nach Stärke der Komprimierung Qualität. Ollama
Die zweite Grenze ist die Geschwindigkeit. Große Modelle laufen auf Alltagshardware im Bereich weniger Wörter pro Sekunde, was für einen Chat reicht und für einen Agenten mit vielen Schritten nicht.
So kannst du dir das vorstellen
Ein Nachschlagewerk im Regal gegenüber einer Bibliothek in der Stadt. Das Regal ist immer da und niemand sieht, was du liest, dafür ist die Auswahl kleiner. Das Bild erklärt den Zielkonflikt, es sagt nichts über die Qualität einzelner Modelle.
Was es in der Praxis konkret bedeutet
Für Aufgaben mit vertraulichen Unterlagen, für Arbeiten ohne Netz und für Dauerläufe ohne Abrechnung pro Anfrage ist das die passende Betriebsart. Prüfe vorher zwei Dinge: wie viel Speicher deine Hardware hat, und wie stark das Modell komprimiert ist, das du laden willst. Teste an deinen eigenen Aufgaben, denn der Qualitätsabstand zu großen Modellen zeigt sich nicht im Small Talk, sondern bei langen Anweisungen und Werkzeugnutzung.
Wo es verwechselt wird
Lokal ist ein Sonderfall von Self-Hosting, nicht dasselbe. Und ein lokal laufendes Modell ist nicht automatisch datenschutzkonform: Was du in eine lokale Anwendung eingibst, kann trotzdem in Protokolldateien landen oder von einer Erweiterung weitergeschickt werden.
Verwandte Begriffe
Self-Hosting, Quantization, VRAM, Ollama, llama.cpp, On-Premises.