Fehlverhalten, Zuverlässigkeit und menschliche Wahrnehmung
Jagged Frontier
Heißt auch Jagged Intelligence.
Ungleichmäßige Fähigkeiten: starke Leistungen neben überraschend einfachen Fehlern.
Jagged Frontier, auf Deutsch zackige Grenze, beschreibt die ungleichmäßige Verteilung der Fähigkeiten: Aufgaben, die gleich schwer aussehen, liegen teils innerhalb und teils außerhalb dessen, was ein Modell gut kann. Geprägt wurde der Ausdruck in einem Feldversuch mit Unternehmensberatern, in dem genau dieser Unterschied gemessen wurde. Dell'Acqua et al.
Innerhalb der Grenze hilft es, außerhalb schadet es
In dem Versuch arbeiteten Teilnehmende mit und ohne Modellzugang an realistischen Aufgaben. Bei Aufgaben innerhalb der Grenze war die Gruppe mit Modell deutlich schneller und lieferte bessere Ergebnisse. Bei einer eigens ausgewählten Aufgabe außerhalb der Grenze kehrte sich das Bild um: Dort kamen die Teilnehmenden mit Modell seltener zur richtigen Lösung als die ohne.
Der Punkt ist die Unvorhersehbarkeit. Man sieht einer Aufgabe nicht an, auf welcher Seite der Grenze sie liegt, und die Grenze verschiebt sich mit jeder Modellgeneration. Auch deshalb messen breite Bewertungen viele Szenarien statt eines Gesamtwerts. Liang et al.
So kannst du dir das vorstellen
Eine Küstenlinie mit Buchten und Landzungen. Zwei Punkte auf der Karte liegen nah beieinander, der eine an Land, der andere im Wasser. Von oben sieht man den Unterschied, vom Boot aus nicht. Das Bild erklärt die Unregelmäßigkeit, es benennt keine konkreten Fähigkeiten.
Was es in der Praxis bedeutet
Die praktische Konsequenz ist unbequem: Man muss für die eigenen Aufgabentypen ausprobieren, wo die Grenze verläuft, und darf nicht von einer gelungenen Aufgabe auf eine ähnliche schließen. Genau dieser Schluss führt zu den teuren Fehlern.
Nützlich ist, im Team festzuhalten, welche Aufgaben zuverlässig funktionieren und welche nicht, mit Datum und Modellversion. Diese Liste ist mehr wert als jede allgemeine Einschätzung, und sie muss nach Modellwechseln erneuert werden.
Wo es verwechselt wird
Die zackige Grenze ist keine Aussage über die Schwierigkeit für Menschen: Was uns leichtfällt, kann außerhalb liegen und umgekehrt. Und sie ist keine feste Eigenschaft, sondern verschiebt sich zwischen Modellen.
Verwandte Begriffe
Emergent Capabilities, Benchmark, Evaluation, Automation Bias, Agent Time Horizon.