GAIA

GAIA besteht aus 466 Fragen, die für Menschen einfach und für KI-Systeme schwer sind. Zur Lösung braucht es mehrere Fähigkeiten zusammen: nachdenken, im Netz suchen, Dateien und Bilder auswerten, Werkzeuge benutzen. Bei der Vorstellung Ende 2023 lösten menschliche Befragte 92 Prozent, ein damals führendes Modell mit Werkzeugzugang 15 Prozent. Mialon et al.

Der umgekehrte Anspruch

Die meisten Benchmarks suchen Aufgaben, die für Menschen immer schwerer werden, etwa Fachfragen auf Promotionsniveau. Phan et al. GAIA geht andersherum vor und fragt, ob ein System bei alltäglichen Rechercheaufgaben ähnlich verlässlich ist wie ein durchschnittlicher Mensch. Eine typische Frage verlangt, drei Informationen aus verschiedenen Quellen zu verbinden und daraus eine eindeutige Antwort zu bilden.

Die Antworten sind kurz und maschinell prüfbar. Von den 466 Fragen sind 300 Lösungen zurückgehalten, damit die Bestenliste nicht durch Abschreiben unbrauchbar wird.

So kannst du dir das vorstellen

Eine Aufgabe für die Assistenz: Finde heraus, in welchem Jahr das Gebäude gebaut wurde, in dem die Firma vor dem Umzug saß, und nenne den Architekten. Ein Mensch braucht dafür zehn Minuten und drei Suchanfragen. Das Bild erklärt den Aufgabentyp, es steht nicht für eine konkrete Frage aus dem Datensatz.

Was es in der Praxis konkret bedeutet

GAIA ist von den gängigen Tests derjenige, der Recherche- und Assistenzaufgaben am nächsten kommt, also dem, wofür Agenten im Büroalltag tatsächlich eingesetzt werden. Beim Lesen der Werte zählt, welches Werkzeugpaket der Agent hatte. Derselbe Modellkern mit und ohne Websuche liefert völlig verschiedene Zahlen, und die Aufgaben sind ohne Suche größtenteils nicht lösbar.

Wo es verwechselt wird

GAIA misst kein Fachwissen. Die Fragen sind inhaltlich anspruchslos, schwierig ist das Zusammensuchen. Und gemessen wird ein vollständiger Agent samt Werkzeugen, nicht ein Modell.

Verwandte Begriffe

OSWorld, WebArena, Humanity’s Last Exam, Tool Use, AI Agent, Benchmark.