Managed Inference

Managed Inference heißt, dass jemand anders das Modell betreibt. Du schickst Anfragen an eine Schnittstelle und bekommst Antworten; Hardware, Serversoftware, Skalierung, Aktualisierungen und Ausfallsicherheit liegen beim Anbieter. Der Unterschied zum Eigenbetrieb ist nicht technischer Natur, sondern eine Frage der Zuständigkeit. vLLM

Zwei Spielarten, die oft verwechselt werden

Die eine ist der fertige Modelldienst: Der Anbieter stellt seine Modelle bereit, du wählst eines aus und rufst es auf. Die andere ist verwaltetes Hosting für ein Modell deiner Wahl, auch ein selbst angepasstes: Du lieferst die Gewichte, der Anbieter kümmert sich um den Betrieb. AWS

Die zweite Variante ist der übliche Weg für angepasste Modelle in Unternehmen. Sie kombiniert die Kontrolle über das Modell mit dem Verzicht auf eigene Betriebsmannschaft, kostet aber mehr als der Zugriff auf ein Standardmodell.

So kannst du dir das vorstellen

Der Unterschied zwischen Bahnfahren, einem Mietwagen mit Fahrer und dem eigenen Auto. In allen drei Fällen kommst du an, die Frage ist, wer tankt und wer bei einer Panne haftet. Das Bild erklärt die Zuständigkeiten, es empfiehlt keine Variante.

Was es in der Praxis konkret bedeutet

Kläre die Grenze der Zuständigkeit, bevor etwas schiefgeht. Konkret: Wer sorgt für Verfügbarkeit und mit welcher Zusage, wer spielt Modellaktualisierungen ein und mit welcher Vorwarnzeit, und wie lange bleibt eine Version verfügbar, auf die deine Anwendung sich verlässt. Der letzte Punkt wird am häufigsten vergessen und ist der teuerste, wenn er eintritt.

Wo es verwechselt wird

Verwaltet heißt nicht sorgenfrei: Prompt, Kontextgrenzen, Kosten und Qualitätsprüfung bleiben deine Aufgabe. Und Managed Inference ist nicht gleich serverlos, das beschreibt nur eine bestimmte Abrechnungs- und Skalierungsform.

Verwandte Begriffe

Serverless Inference, Self-Hosting, Dedicated Deployment, Model Snapshot, Inference Cost, Multi-Tenant Deployment.