Sicherheit, Missbrauch und Governance
Guardrails
Technische oder organisatorische Grenzen für Ausgaben, Zugriff und Aktionen.
Guardrails, auf Deutsch Leitplanken, sind die Grenzen, innerhalb derer ein KI-System arbeiten darf. Dazu gehören Prüfungen der Ausgaben, Beschränkungen der verfügbaren Werkzeuge, Rechte auf angebundene Systeme und verbindliche Freigaben vor heiklen Schritten.
Wirksam sind Leitplanken außerhalb des Modells
Eine Anweisung im Prompt ist keine Leitplanke, sondern eine Bitte. Verlässlich sind Grenzen, die ein Modell nicht umgehen kann, weil sie nicht in seinem Einflussbereich liegen: Welche Werkzeuge bereitstehen, welche Rechte diese haben, ob vor der Ausführung jemand zustimmt.
Genau das empfehlen sowohl Protokollspezifikationen als auch Praxisberichte: Anwendungen sollen Aufrufe sichtbar machen, für heikle Vorgänge nachfragen und dem Menschen die Ablehnung ermöglichen. Model Context Protocol: Tools Für Agenten kommt der Betrieb in abgeschotteten Umgebungen dazu. Anthropic: Building effective agents
So kannst du dir das vorstellen
Die Leitplanke an der Straße wirkt, ohne dass der Fahrer zustimmt. Ein Schild, das zur Vorsicht mahnt, wirkt nur, wenn er es liest und befolgt. Beides ist nützlich, nur eines hält im Ernstfall. Das Bild erklärt den Unterschied zwischen Hinweis und Grenze.
Was es in der Praxis bedeutet
Eine brauchbare Reihenfolge beim Absichern: erst den Handlungsraum zuschneiden, dann Rechte begrenzen, dann Freigaben für unumkehrbare Schritte, dann Prüfungen der Ausgaben, zuletzt Anweisungen im Prompt.
Zu beachten ist die Wechselwirkung mit der Nutzbarkeit. Zu viele Freigaben führen zu blindem Wegklicken, und dann ist die Kontrolle nur noch auf dem Papier vorhanden.
Wo es verwechselt wird
Leitplanken sind keine Sicherheitsausrichtung des Modells, sondern Maßnahmen um es herum. Und Prüfungen der Ausgabe fangen nur ab, was sichtbar wird, nicht die Handlung selbst.
Verwandte Begriffe
Approval Gate, Tool Allowlist, Sandbox, Scoped Credentials, AI Safety, Human-in-the-Loop.