Modellzugang, Hosting und Unternehmensbereitstellung
Scale to Zero
Automatisches Herunterfahren ungenutzter Inferenzkapazität bis auf null laufende Instanzen.
Scale to Zero heißt, dass eine Bereitstellung ohne Anfragen vollständig abgeschaltet wird. Es läuft dann keine Instanz mehr, und es entstehen keine Rechenkosten. Trifft eine Anfrage ein, wird wieder hochgefahren. AWS
Zwei Stellschrauben bestimmen das Verhalten
Gesteuert wird das über Wartezeiten. Die eine legt fest, wie lange nach der letzten Anfrage gewartet wird, bevor abgeschaltet wird, die andere, wie lange eine letzte Instanz noch vorgehalten bleibt. Knative Wer die Frist zu knapp setzt, zahlt mit häufigen Kaltstarts, wer sie zu großzügig setzt, zahlt Leerlauf.
Bei Sprachmodellen wiegt der Kaltstart schwerer als bei gewöhnlichen Anwendungen, weil viele Gigabyte Gewichte in den Grafikspeicher geladen werden müssen. Aus Sekunden können Minuten werden.
So kannst du dir das vorstellen
Das Licht im Treppenhaus mit Bewegungsmelder. Es brennt nur, wenn jemand da ist, und der erste Moment im Dunkeln gehört dazu. Die Nachlaufzeit entscheidet, wie oft das passiert. Das Bild erklärt die Einstellgröße, es nennt keine konkreten Zeiten.
Was es in der Praxis konkret bedeutet
Für interne Werkzeuge, Testumgebungen und alles mit wenigen Aufrufen pro Tag spart die Einstellung erhebliche Kosten. Miss aber zuerst deinen Kaltstart mit dem konkreten Modell und entscheide dann, ob die Wartezeit für die erste Anfrage zumutbar ist. Häufige Zwischenlösung: eine Mindestinstanz während der Bürozeiten, Abschaltung nachts und am Wochenende.
Wo es verwechselt wird
Auf null skalieren heißt nicht, dass nichts mehr kostet. Speicher für Modellartefakte, feste Netzkomponenten und reservierte Kontingente laufen weiter. Und es ist nicht dasselbe wie serverlos: Auch selbst betriebene Umgebungen können auf null herunterfahren.
Verwandte Begriffe
Serverless Inference, Managed Inference, Inference Cost, Time to First Token, Self-Hosting, Provisioned Throughput.