Indirect Prompt Injection

Bei der indirekten Form kommt die eingeschleuste Anweisung nicht vom Nutzer, sondern aus Inhalten, die das System selbst holt: eine Webseite, ein Dokument im Anhang, ein Ticket, das Ergebnis eines Werkzeugaufrufs. Die Arbeit, die das Problem bekannt gemacht hat, zeigt, dass angegriffen werden kann, ohne dass der Angreifer überhaupt mit dem System spricht. Greshake et al.

Der Angreifer muss nur den Inhalt beeinflussen

Das genügt schon, wenn jemand eine Seite betreibt, die später gelesen wird, eine Mail schickt, die zusammengefasst wird, oder einen Kommentar in einem Repository hinterlässt. Die Anweisung kann unauffällig platziert sein, etwa als unscheinbarer Absatz.

Deshalb warnen Dokumentationen ausdrücklich davor, Werkzeugergebnisse als vertrauenswürdig zu behandeln: Sie stammen oft aus Quellen außerhalb der eigenen Kontrolle. Anthropic: Handle tool calls

So kannst du dir das vorstellen

Jemand legt einen gefälschten Zettel in eine Akte, die später jemand anderes bearbeitet. Der Bearbeiter hat den Fälscher nie gesehen und führt die Anweisung trotzdem aus. Das Bild erklärt den Weg über den Inhalt, nicht die Erkennung.

Was es in der Praxis bedeutet

Betroffen sind genau die Anwendungen, die gerade beliebt sind: Agenten mit Websuche, Assistenten im Postfach, Systeme mit Abruf über fremde Dokumente, Werkzeuge im Quellcodeverwaltungssystem.

Wirksam sind Maßnahmen, die die Folgen begrenzen: gelesene Inhalte nicht automatisch in Aktionen münden lassen, schreibende Zugriffe mit Freigabe versehen, Ziele für Versand oder Übertragung nicht aus dem Inhalt übernehmen, und bei ungewöhnlichen Schritten nachfragen.

Wo es verwechselt wird

Die indirekte Form ist kein Sonderfall, sondern inzwischen der häufigere. Und ein Filter über die Nutzereingabe hilft dagegen nicht, weil die Anweisung an einer anderen Stelle hereinkommt.

Verwandte Begriffe

Prompt Injection, Tool Poisoning, RAG Poisoning, Data Exfiltration, Tool Result, Guardrails.