Distribution Shift

Distribution Shift bezeichnet den Unterschied zwischen den Daten, mit denen ein Modell trainiert oder geprüft wurde, und denen, die es später tatsächlich bekommt. Die Fähigkeit, auch außerhalb der bekannten Verteilung zu funktionieren, gilt als eine der entscheidenden Eigenschaften für den praktischen Einsatz. Kirk et al.

Die Verschiebung ist der Normalfall

Kein Bestand bleibt gleich. Neue Produkte, neue Rechtslage, andere Nutzergruppen, andere Formulierungen: Schon nach Monaten sehen die Eingaben anders aus als zu Beginn. Für Sprachmodelle kommt hinzu, dass sie auf Daten bis zu einem Stichtag trainiert wurden und alles Spätere grundsätzlich außerhalb liegt.

Deshalb wird Robustheit in umfassenden Bewertungen als eigene Kennzahl neben der Genauigkeit geführt: Wie stabil bleibt die Leistung, wenn Eingaben abweichen. Liang et al.

So kannst du dir das vorstellen

Jemand hat in München Auto fahren gelernt und fährt jetzt in Neapel. Können und Regeln sind dieselben, die Bedingungen nicht. Die Fehler passieren nicht, weil er das Fahren verlernt hat. Das Bild erklärt die Verschiebung der Bedingungen, nicht ihre Ursachen.

Was es in der Praxis bedeutet

Prüfe regelmäßig, ob die Eingaben im Betrieb noch denen ähneln, mit denen du getestet hast. Einfache Mittel reichen: Stichproben echter Anfragen lesen, Längen und Themen zählen, nach Fragen suchen, die vorher nicht vorkamen.

Für Systeme mit eigener Wissensbasis heißt es außerdem, den Bestand mitzupflegen. Eine Verschiebung bei den Fragen und ein veralteter Bestand ergeben zusammen genau die Fehler, die Nutzer als plötzliche Verschlechterung erleben.

Wo es verwechselt wird

Distribution Shift beschreibt veränderte Eingaben, Model Drift die veränderte Leistung im Betrieb, die auch von Modellwechseln kommen kann. Und der Wissensstichtag eines Modells ist ein Sonderfall davon, kein eigener Fehler.

Verwandte Begriffe

Model Drift, Evaluation, Knowledge Cutoff, Online Evaluation, Golden Dataset.