Szene-Slang, Memes und Debattenbegriffe
Nerfed
Vorwurf, ein Modell sei nach einer Änderung schlechter geworden.
Nerfed heißt: absichtlich abgeschwächt. Das Wort stammt aus Onlinespielen, wo Entwickler eine zu starke Waffe herunterstufen, bis sie sich anfühlt wie Schaumstoffspielzeug. In der KI-Szene sagt es jemand, der überzeugt ist, dass ein Modell nach einem Update schlechter antwortet als vorher. Wikipedia
Der Vorwurf ist manchmal berechtigt und schwer zu prüfen
Dass sich Verhalten zwischen zwei Ständen desselben Modells verschiebt, ist belegt. Eine Untersuchung verglich zwei Stände aus dem Frühjahr 2023: Beim Erkennen von Primzahlen fiel die Trefferquote des größeren Modells von 84 auf 51 Prozent, während das kleinere im selben Zeitraum in derselben Aufgabe deutlich besser wurde. Die Veränderungen gehen also in beide Richtungen. Chen et al.
Gleichzeitig entsteht der Eindruck oft ohne Änderung am Modell. Der Anbieter kann Systemvorgaben anpassen, Sicherheitsfilter nachziehen oder bei hoher Last anders bedienen. Dazu kommt Gewöhnung: Was beim ersten Mal beeindruckt, wirkt nach drei Monaten normal.
So kannst du dir das vorstellen
Ein Zulieferer ändert das Rezept, ohne die Verpackung anzufassen. Dass es anders schmeckt, merkst du sofort. Ob wirklich etwas anders ist oder du nur genauer hinschmeckst, klärt erst ein Vergleich mit einer alten Packung. Das Bild erklärt das Beweisproblem, es unterstellt keine Absicht.
Was es in der Praxis konkret bedeutet
Wenn dein Produkt auf einem fremden Modell läuft, brauchst du eine alte Packung. Leg eine kleine Testmenge an, dreißig bis fünfzig echte Fälle mit erwarteten Antworten, und lass sie regelmäßig durchlaufen. Notiere dazu immer die genaue Modellversion. Ohne diese Grundlage bleibt jede Beschwerde beim Anbieter ein Gefühl, mit ihr wird sie ein Befund.
Wo es verwechselt wird
Nerfed ist nicht dasselbe wie Model Drift. Der Vorwurf meint einen Eingriff des Anbieters, Drift beschreibt, dass die Welt sich ändert und das Modell stehen bleibt. Und mit Quantisierung hat es nur zu tun, wenn tatsächlich eine sparsamere Fassung ausgeliefert wird.
Verwandte Begriffe
Lobotomized, Model Snapshot, Model Drift, Quantization, Evaluation, Rug Pull.