WebArena

WebArena stellt einem Agenten vier voll funktionsfähige Websites hin: einen Onlineshop, ein Diskussionsforum, eine Plattform für Softwareentwicklung und ein Redaktionssystem. Dazu kommen Hilfsmittel wie eine Karte und Handbücher. Die Aufgaben bilden nach, was Menschen im Netz routinemäßig erledigen, und bewertet wird das Ergebnis, nicht der Weg. Zhou et al.

Selbst betriebene Websites statt des echten Netzes

Die Seiten laufen als eigene Installationen, nicht im offenen Web. Das klingt nach einem Kompromiss, ist aber der entscheidende Vorteil: Der Ausgangszustand lässt sich zurücksetzen, und eine Messung von heute ist mit einer von nächstem Jahr vergleichbar. Im echten Netz ändert sich jede Seite ständig, und ein Agent kann dort Dinge auslösen, die sich nicht rückgängig machen lassen.

Der Abstand zum Menschen war bei der Vorstellung 2023 groß: Der beste untersuchte Agent brachte 14,41 Prozent der Aufgaben zu Ende, Menschen 78,24 Prozent. Die Aufgaben scheitern selten am Verstehen, sondern an der Länge der Handlungsketten.

So kannst du dir das vorstellen

Eine Aushilfe soll im Shopsystem eine Bestellung stornieren, dem Kunden im Forum antworten und den Vorgang im Redaktionssystem vermerken. Jeder Einzelschritt ist banal, die Kette ist es nicht. Das Bild erklärt den Aufgabentyp, es beschreibt keine konkrete Aufgabe aus dem Datensatz.

Was es in der Praxis konkret bedeutet

Wenn du überlegst, einen Agenten auf ein Webportal loszulassen, ist das der Test, der dazu passt. Rechne mit niedrigen Erfolgsquoten bei mehrstufigen Aufgaben und plane Zwischenstopps ein, an denen ein Mensch bestätigt. Besonders bei Schritten, die etwas auslösen, also Bestellen, Absenden, Löschen.

Wo es verwechselt wird

WebArena prüft Handeln auf Websites, GAIA das Beschaffen von Informationen. Und gegenüber OSWorld fehlt hier das Betriebssystem: Der Agent bedient Webseiten, nicht Programme auf einem Desktop. Xie et al.

Verwandte Begriffe

OSWorld, GAIA, AI Agent, Agent Harness, Human-in-the-Loop, Benchmark.