Context Poisoning

Context Poisoning bezeichnet das Einbringen oder Weiterverwenden fehlerhafter beziehungsweise manipulierter Informationen im Arbeitskontext, die spätere Verarbeitung beeinflussen. Redis: Context Poisoning Drew Breunig: How Contexts Fail Die problematischen Inhalte können absichtlich eingeschleust werden oder versehentlich entstehen, etwa durch eine zuvor erzeugte falsche Aussage. Redis: Context Poisoning

Ein Fehler wird zur vermeintlichen Grundlage

Ein einmal vorhandener Irrtum kann in weiteren Schritten erneut aufgegriffen und in Zusammenfassungen übernommen werden. Drew Breunig: How Contexts Fail Redis: Context Poisoning Dadurch wirkt eine nicht bestätigte Angabe später wie ein bereits geklärter Sachverhalt. Redis: Context Poisoning

Gemeint ist hier die Beeinflussung zur Bearbeitungszeit, nicht zwingend eine Veränderung der trainierten Modellparameter. Redis: Context Poisoning Wenn ein System solche Inhalte zusätzlich in dauerhaften Notizen speichert und später wieder lädt, kann sich das Problem über den aktuellen Aufruf hinaus fortsetzen. Redis: Context Poisoning

Der Begriff wird unterschiedlich weit gefasst: Elastic bezieht auch ungeeignete oder veraltete Kontextinformationen ein. Elastic: Context Poisoning und Retrieval Deshalb sollte bei einer Analyse der konkrete Eintrag und sein Einfluss benannt werden, statt nur das Etikett zu verwenden.

So kannst du dir das vorstellen

Eine hypothetische KI vermutet unbelegt, ein bestimmter Vertrag sei bereits gekündigt. Diese Vermutung gelangt anschließend ohne Kennzeichnung in die Arbeitszusammenfassung.

Beim nächsten Schritt behandelt das System die Kündigung als gesicherte Grundlage und entwirft eine entsprechend falsche Nachricht. Das Problem wäre nicht allein der erste Irrtum, sondern dessen Weiterverwendung als vermeintlich bestätigtes Wissen.

Ich würde deshalb zwischen Quellenangaben, überprüften Befunden und offenen Annahmen sichtbar unterscheiden. Im Beispiel müsste die Kündigung am Vertragsstand geprüft werden.

Nicht jede Kontamination ist ein Angriff

Absichtlich eingeschleuste Anweisungen und versehentlich übernommene Falschangaben können beide den Kontext beeinflussen. Redis: Context Poisoning Prompt Injection und Context Poisoning überschneiden sich dadurch, sind aber keine austauschbaren Bezeichnungen für jeden Fehler.

Beim Bereinigen würde ich auch abgeleitete Zusammenfassungen und gespeicherte Notizen prüfen. Nur den ursprünglichen falschen Satz zu entfernen reicht nicht, wenn seine Aussage bereits an anderer Stelle weitergeführt wird. Redis: Context Poisoning

Verwandte Begriffe

Prompt Injection, Memory Poisoning, Hallucination Internalization, Context Pollution, Context Curation.