Ollama

Ollama ist ein Werkzeug, das lokalen Modellbetrieb auf wenige Befehle reduziert: Modell holen, starten, benutzen. Es verwaltet heruntergeladene Modelle, wählt passende Einstellungen und stellt im Hintergrund einen Dienst bereit, den andere Programme über eine Schnittstelle ansprechen. Ollama

Bequemlichkeit als eigentliche Leistung

Technisch setzt es auf bestehenden Laufzeitkomponenten auf. llama.cpp Der Beitrag liegt in der Verpackung: eine Modellsammlung mit kurzen Namen statt Dateipfaden, automatische Wahl einer passenden Quantisierungsstufe, ein laufender Dienst statt manuell gestarteter Prozesse, und eine Konfigurationsdatei, in der Systemprompt und Parameter zu einem eigenen Modelleintrag zusammengefasst werden.

Der Preis ist weniger Kontrolle. Welche Quantisierungsstufe hinter einem Kurznamen steckt und welche Parameter voreingestellt sind, ist nicht immer offensichtlich, was Vergleiche zwischen Systemen erschwert.

So kannst du dir das vorstellen

Ein Paketmanager für Modelle. Statt Dateien zu suchen, Versionen abzugleichen und Startparameter zu setzen, gibst du einen Namen an. Das Bild erklärt die Rolle als Verwaltungsschicht, es vergleicht keine Produkte.

Was es in der Praxis konkret bedeutet

Für den Einstieg in lokale Modelle und für Entwicklungsrechner ist das der schnellste Weg. Prüfe bei Qualitätsvergleichen aber nach, welche Quantisierungsstufe tatsächlich geladen wurde, sonst vergleichst du unterschiedliche Fassungen. Für Serverbetrieb mit vielen gleichzeitigen Nutzern ist eine auf Durchsatz ausgelegte Umgebung die passendere Wahl.

Wo es verwechselt wird

Das Werkzeug ist keine eigene Modellfamilie, auch wenn die Kurznamen in der Sammlung so wirken. Dahinter stehen Modelle verschiedener Anbieter in bestimmten Quantisierungsstufen.

Verwandte Begriffe

llama.cpp, Local LLM, GGUF, LM Studio, OpenAI-Compatible API, Self-Hosting.