Fehlverhalten, Zuverlässigkeit und menschliche Wahrnehmung
Model Drift
Veränderte Leistung oder Passung bei geänderten Einsatzbedingungen.
Model Drift bezeichnet die Veränderung der Leistung eines Modells über die Zeit, ohne dass sich die eigene Anwendung geändert hat. Eine Untersuchung zweier Versionsstände derselben Dienste fand bei mehreren Aufgaben deutliche Unterschiede zwischen den Zeitpunkten, in beide Richtungen. Chen et al.
Zwei Ursachen mit gleichem Ergebnis
Die eine Ursache liegt beim Anbieter: Modelle werden aktualisiert, ausgetauscht oder in ihren Sicherheitsregeln nachjustiert, oft ohne genaue Ankündigung. Was gestern zuverlässig funktionierte, kann heute anders ausfallen.
Die andere liegt bei dir: Wenn sich die Eingaben ändern, weil neue Nutzergruppen, neue Produkte oder neue Formulierungen dazukommen, passt das Modell nicht mehr so gut, obwohl es gleich geblieben ist. Beides wird unter Drift geführt, und beides wird nur sichtbar, wenn regelmäßig gemessen wird. Liang et al.
So kannst du dir das vorstellen
Eine Werkzeugmaschine, die seit Monaten gleich eingestellt ist, produziert plötzlich Ausschuss. Entweder hat jemand an der Maschine etwas geändert oder das Material ist ein anderes. Beides merkt man nur, wenn man misst. Das Bild erklärt die zwei Richtungen, es beschreibt keine Ursachenanalyse.
Was es in der Praxis bedeutet
Lege eine feste Sammlung von Testfällen an und lass sie regelmäßig laufen, nicht nur bei Änderungen an der eigenen Software. Das ist die einzige Art, Drift zu bemerken, bevor Nutzer sich beschweren.
Zweitens: Modellversionen festnageln, wo das möglich ist, und Wechsel bewusst vollziehen statt automatisch. Und drittens Nutzerbeschwerden mit Datum und Modellversion festhalten, damit sich ein Zusammenhang überhaupt erkennen lässt.
Wo es verwechselt wird
Drift ist nicht dasselbe wie Distribution Shift, auch wenn beides zusammenhängt: Der Shift beschreibt veränderte Eingaben, Drift die veränderte Leistung im Betrieb, auch durch Modellwechsel. Und schwankende Antworten bei gleicher Eingabe sind kein Drift, sondern eine Eigenschaft der Erzeugung.
Verwandte Begriffe
Distribution Shift, Evaluation, Online Evaluation, LLM Observability, Mode Collapse.