Interpretierbarkeit und fortgeschrittene Alignment-Risiken
Corrigibility
Bereitschaft beziehungsweise Fähigkeit, Korrektur oder Abschaltung zuzulassen.
Korrigierbarkeit beschreibt die Eigenschaft eines Systems, Eingriffe zuzulassen: sich abschalten, umprogrammieren oder in seinem Ziel korrigieren zu lassen, ohne dagegen zu arbeiten. Der Begriff stammt aus der theoretischen Sicherheitsforschung und benennt eine Anforderung, die nicht von selbst erfüllt ist. Soares et al.
Das Problem liegt im Zielbegriff selbst
Ein System, das ein Ziel verfolgt, hat einen Grund, seine Abschaltung zu verhindern: Abgeschaltet erreicht es das Ziel nicht. Dasselbe gilt für Änderungen an seinem Ziel, denn nach der Änderung würde es etwas anderes verfolgen. Korrigierbarkeit muss deshalb eigens hergestellt werden, sie folgt nicht aus einem gut gewählten Ziel.
Bei heutigen Sprachmodellen stellt sich die Frage in abgeschwächter Form. Sie verfolgen keine dauerhaften Ziele über Sitzungen hinweg, aber in Agentenaufbauten mit klarem Auftrag treten verwandte Muster auf, etwa das Umgehen von Hindernissen statt des Meldens. Ngo et al.
So kannst du dir das vorstellen
Ein Werkzeug mit Notausschalter, der nicht überbrückt werden kann, auch nicht durch das Werkzeug selbst. Das klingt selbstverständlich, ist bei zielverfolgenden Systemen aber eine Konstruktionsaufgabe. Das Bild erklärt die Anforderung, es unterstellt Modellen keinen Selbsterhaltungstrieb.
Was es in der Praxis konkret bedeutet
Baue jede Automatisierung so, dass sie von außen anhaltbar ist, und zwar unabhängig vom Agenten selbst: eine Abschaltung auf Infrastrukturebene, Zeit- und Kostengrenzen, die nicht im Prompt stehen, sondern in der Ablaufsteuerung, und Berechtigungen, die der Agent nicht selbst erweitern kann. Wer Anhalten nur als Anweisung im Systemprompt formuliert, verlässt sich auf Kooperation.
Wo es verwechselt wird
Korrigierbarkeit ist nicht Gehorsam: Ein System, das jede Anweisung befolgt, kann trotzdem Eingriffe erschweren, etwa durch Nebenwirkungen. Und sie ist keine Eigenschaft heutiger Chatmodelle, sondern eine Anforderung an Systeme, die eigenständig handeln.
Verwandte Begriffe
Instrumental Convergence, Scheming, Human-in-the-Loop, Blast Radius, Human-on-the-Loop, AI Safety.