Inference

Inference, auf Deutsch Inferenz, ist die Anwendung eines fertig trainierten Modells auf eine neue Eingabe. Die Gewichte ändern sich dabei nicht: Das Modell lernt im Betrieb nichts dazu, es rechnet nur. Damit steht die Inferenz dem Training gegenüber, in dem die Gewichte angepasst werden.

Zwei Phasen, unterschiedliche Kosten

Eine Anfrage läuft in zwei Abschnitten ab. Zuerst wird die gesamte Eingabe verarbeitet, dann entstehen die Ausgabetokens einzeln. Beide Abschnitte beanspruchen die Hardware unterschiedlich, weshalb sich Optimierungen getrennt darauf beziehen. Agrawal et al.

Wirtschaftlich ist die Inferenz der dauerhafte Kostenblock. Ein Training findet einmal statt, Inferenz bei jeder einzelnen Anfrage, und deshalb dreht sich ein großer Teil der Systemarbeit darum, sie günstiger zu machen. Kwon et al.

So kannst du dir das vorstellen

Training ist die Ausbildung, Inferenz die tägliche Arbeit. Wer arbeitet, wird dadurch nicht automatisch klüger, und die Ausbildung wird nicht jeden Morgen wiederholt. Das Bild erklärt die Trennung, es beschreibt keinen Lernvorgang.

Was es in der Praxis bedeutet

Aus der Trennung folgt eine häufige Fehlannahme: Ein Modell merkt sich nichts aus deinen Anfragen. Was im nächsten Gespräch verfügbar sein soll, muss die Anwendung erneut mitschicken oder speichern.

Für die Kostenrechnung heißt es, dass Preise pro Token und nicht pro Nutzer anfallen. Ein kurzer Prompt, der hundertmal am Tag läuft, kann teurer sein als ein langer, der einmal wöchentlich läuft.

Wo es verwechselt wird

Inferenz ist nicht Feinschliff: Beim Feinschliff ändern sich die Gewichte, bei der Inferenz nicht. Und der Begriff meint hier die Ausführung des Modells, nicht das logische Schlussfolgern, das im Deutschen ebenfalls Inferenz heißt.

Verwandte Begriffe

Generation, Model Serving, Prefill, Decode Phase, Training, Latency.