Chatbot Arena

In der Chatbot Arena stellen Besucher eine eigene Frage, bekommen zwei Antworten von zwei nicht genannten Modellen und wählen die bessere. Aus vielen solcher Paarvergleiche entsteht eine Rangliste. Die Arbeit von 2024 wertete über 240.000 Stimmen aus und fand die Urteile der Freiwilligen in guter Übereinstimmung mit denen geschulter Bewerter. Chiang et al.

Eine Rangliste ist noch keine Messung

Die Stärke des Verfahrens ist zugleich seine Schwäche: Gemessen wird, was Menschen beim Überfliegen besser finden. Das belohnt Antworten, die freundlich, ausführlich und gut formatiert sind, und es sagt wenig darüber, ob der Inhalt stimmt. Für Fachfragen wäre eine Prüfung nötig, die der Abstimmende gar nicht vornimmt.

Dazu kommen strukturelle Verzerrungen. Eine Untersuchung von 2025 beschreibt nicht öffentliche Vortests, bei denen einzelne Anbieter mehrere Varianten prüfen und nur das beste Ergebnis veröffentlichen lassen, in einem Fall 27 unveröffentlichte Varianten vor einem Modellstart. Außerdem treten Modelle großer Anbieter in mehr Vergleichen an und werden seltener entfernt. Singh et al.

So kannst du dir das vorstellen

Eine Verkostung, bei der Gäste zwei Gerichte vergleichen, ohne die Küche zu kennen. Das Ergebnis sagt zuverlässig, was besser schmeckt. Ob die Zutaten frisch waren, sagt es nicht. Das Bild erklärt, was Präferenzmessung leistet, es spricht dem Verfahren den Nutzen nicht ab.

Was es in der Praxis konkret bedeutet

Als Vorauswahl ist die Rangliste brauchbar, als Entscheidungsgrundlage nicht. Nimm die oberen Plätze als Kandidatenliste und prüfe dann an deinen eigenen Aufgaben, am besten blind und mit festen Kriterien. Wichtig ist außerdem die Unterkategorie: Die Werte für Programmieren oder lange Anfragen unterscheiden sich vom Gesamtrang erheblich.

Wo es verwechselt wird

Ein Vorsprung von wenigen Punkten liegt meist innerhalb der statistischen Unsicherheit, die die Bestenliste selbst mit ausweist. Und Präferenz ist nicht Korrektheit: Eine falsche, aber gut geschriebene Antwort gewinnt den Paarvergleich regelmäßig.

Verwandte Begriffe

MT-Bench, Human Evaluation, Pairwise Evaluation, LLM-as-a-Judge, Benchmark Gaming, Sycophancy.