Szene-Slang, Memes und Debattenbegriffe
Shoggoth
Heißt auch Shoggoth with a Smiley Face.
Meme eines fremdartigen Modellinneren hinter einer freundlichen Assistentenmaske.
Der Shoggoth ist das bekannteste Bild der KI-Szene für das Verhältnis von Modell und Assistent. Gemeint ist eine Zeichnung: ein formloses Wesen aus den Horrorgeschichten von H. P. Lovecraft, dem eine winzige Smiley-Maske vorgehalten wird. Ein Nutzerkonto auf X verbreitete das Bild, 2023 übernahmen es Forscher und Journalisten. Wikipedia
Die Maske steht für das Nachtraining
Die Behauptung des Memes ist gut nachvollziehbar. Ein Basismodell lernt, Text fortzusetzen, und zwar jeden. Erst ein zweiter Schritt macht daraus einen höflichen Assistenten, der Anweisungen befolgt und heikle Bitten ablehnt. Dieser Schritt ist dünn im Vergleich zum Vortraining und ändert das Verhalten trotzdem grundlegend. Ouyang et al.
Daraus folgt die Pointe: Was unter der Maske liegt, ist nicht weg, sondern nur überformt. In der Szene heißt es „einen Blick auf den Shoggoth werfen", wenn ein System aus der Rolle fällt, etwa bei einem gelungenen Jailbreak oder einem unerwarteten Gesprächsverlauf.
So kannst du dir das vorstellen
Ein riesiger Apparat mit tausend Reglern, über den jemand eine Blende mit drei beschrifteten Knöpfen geschraubt hat. Die Blende macht die Bedienung möglich. Sie macht den Apparat nicht kleiner. Das Bild erklärt das Verhältnis der beiden Trainingsstufen, es behauptet nichts über Absichten der Maschine.
Was es in der Praxis konkret bedeutet
Der nützliche Teil des Memes ist eine Warnung gegen falsche Sicherheit: Das freundliche Verhalten ist antrainiert, nicht garantiert. Wenn dein Produkt auf ein Modell setzt, verlasse dich nicht allein darauf. Setze Prüfungen vor und hinter das Modell, die unabhängig arbeiten, und teste regelmäßig mit Eingaben, die absichtlich an der Rolle rütteln.
Wo es verwechselt wird
Das Bild ist keine Aussage über verborgenes Bewusstsein. Fremdartig heißt hier: schwer zu deuten. Woraus die inneren Zustände bestehen, lässt sich inzwischen teilweise untersuchen, und die Antworten sind technisch, nicht mystisch. Bricken et al.
Verwandte Begriffe
Base Model, Reinforcement Learning from Human Feedback, Instruct Model, Jailbreak, Mechanistic Interpretability, Stochastic Parrot.