Fehlverhalten, Zuverlässigkeit und menschliche Wahrnehmung
Emergent Capabilities
Heißt auch Emergence.
Bezeichnung für neu auftretende Fähigkeiten; genaue Bedeutung und Messung beachten.
Emergent Capabilities bezeichnet Fähigkeiten, die bei kleineren Modellen nicht vorhanden sind und bei größeren auftreten. Die Arbeit, die den Begriff bekannt gemacht hat, definiert genau so: Eine Fähigkeit gilt als emergent, wenn sie sich nicht aus der Leistung kleinerer Modelle hochrechnen lässt. Wei et al.
Der Befund ist umstritten
Eine spätere Arbeit stellt eine andere Erklärung dagegen: Der sprunghafte Verlauf entstehe vor allem durch die Wahl der Messgröße. Wo hart bewertet wird, etwa nach vollständiger Übereinstimmung, sieht der Übergang plötzlich aus; mit feineren Maßen verläuft dieselbe Kurve gleichmäßig. Schaeffer et al.
Damit steht nicht fest, ob es sich um eine Eigenschaft der Modelle handelt oder um eine Eigenschaft der Messung. Beide Lesarten sind im Umlauf, weshalb dieser Eintrag die Kennzeichnung „Uneinheitlich" trägt.
So kannst du dir das vorstellen
Wasser scheint bei hundert Grad plötzlich zu kochen. Misst man nur, ob es sprudelt, wirkt der Übergang schlagartig; misst man die Temperatur, ist er allmählich. Ob ein Sprung im Ding steckt oder in der Messung, hängt davon ab, was man misst. Die Analogie zeigt die Rolle des Maßstabs, sie behauptet keine Physik der Modelle.
Was es in der Praxis bedeutet
Sei vorsichtig mit Schlüssen aus dem Wort. Es wird oft benutzt, um Erwartungen für künftige Modelle zu begründen, etwa dass eine Fähigkeit beim nächsten Sprung von allein auftaucht. Belastbar ist das nicht.
Für die eigene Arbeit zählt die nüchterne Version: Neue Modelle können Aufgaben lösen, die alte nicht lösten, und ob das für deine Aufgabe gilt, sagt nur ein Test mit deinen Fällen. Deshalb lohnt es sich, die eigene Testsammlung nach jedem Modellwechsel einmal laufen zu lassen.
Wo es verwechselt wird
Emergenz in diesem Sinn heißt nicht, dass etwas Unerklärliches geschieht; gemeint ist ein Verlauf über die Modellgröße. Und eine emergente Fähigkeit ist keine zuverlässige Fähigkeit, sondern zunächst nur eine messbare Verbesserung.