---
term: "SGLang"
slug: "sglang"
glossar_id: "G603"
variants: []
category: "hardware-laufzeitumgebungen-und-entwickleroekosystem"
marker: ""
short: "Framework und Serving-System mit optimierter Generierung und Cache-Nutzung."
sources:
  - label: "SGLang: Dokumentation"
    url: "https://docs.sglang.ai/"
  - label: "Zheng et al.: SGLang, Efficient Execution of Structured Language Model Programs"
    url: "https://arxiv.org/abs/2312.07104"
status: "entwurf"
updated: "2026-09-21"
---

SGLang ist eine Serversoftware für den produktiven Betrieb von Sprachmodellen, ausgelegt auf niedrige Antwortzeiten und hohen Durchsatz, von einer einzelnen Grafikkarte bis zu verteilten Rechnerverbünden. [SGLang](https://docs.sglang.ai/)

## Die Idee kam von wiederverwendbaren Präfixen

Der Ausgangspunkt der zugrunde liegenden Arbeit war eine Beobachtung: Bei vielen Anfragen ist der Anfang identisch, etwa derselbe Systemprompt, dieselben Beispiele, dasselbe Dokument. Ein Zwischenspeicher, der solche gemeinsamen Anfänge als Baum verwaltet, kann die Berechnung dafür einmal machen und für alle Anfragen wiederverwenden. [Zheng et al.](https://arxiv.org/abs/2312.07104)

Dazu kommt die Programmierseite: eine Sprache zur Beschreibung mehrstufiger Abläufe mit Verzweigungen und erzwungenen Ausgabeformaten, die der Server bei der Planung berücksichtigen kann.

## So kannst du dir das vorstellen

Ein Formular, dessen Kopfteil für alle Antragsteller gleich ist. Wer den Kopfteil einmal ausfüllt und vervielfältigt, spart bei jedem Antrag. Das Bild erklärt die Wiederverwendung gemeinsamer Anfänge, es beschreibt keine konkrete Umsetzung.

## Was es in der Praxis konkret bedeutet

Der Vorteil wird groß, wenn deine Anwendung viele Anfragen mit gleichem Anfang stellt, etwa einen langen Systemprompt für jede Nutzeranfrage oder wiederholte Fragen zu demselben Dokument. Damit das greift, muss der gemeinsame Teil wirklich am Anfang stehen und zeichengenau übereinstimmen. Zeitstempel oder Nutzernamen vorne im Prompt machen den Effekt zunichte.

## Wo es verwechselt wird

SGLang und vLLM lösen ähnliche Aufgaben und haben Verfahren voneinander übernommen. Die Wahl richtet sich meist nach unterstützten Modellen und Betriebsanforderungen, nicht nach einem grundsätzlichen Unterschied.

## Verwandte Begriffe

**vLLM**, **RadixAttention**, **Prefix Caching**, **KV Cache**, **Structured Output**, **Model Serving**.