Pairwise Evaluation

Pairwise Evaluation stellt zwei Antworten auf dieselbe Aufgabe nebeneinander und fragt, welche besser ist. Statt einer Note entsteht eine Entscheidung, und aus vielen solchen Entscheidungen lässt sich eine Rangliste berechnen. Eine offene Plattform arbeitet genau so und hat auf diesem Weg Hunderttausende Stimmen gesammelt. Chiang et al.

Vergleichen fällt leichter als benoten

Menschen vergeben absolute Punktzahlen uneinheitlich: Was für die eine Person eine Vier von fünf ist, ist für die andere eine Drei. Die Frage „welche der beiden" umgeht das Problem, weil sie keinen gemeinsamen Maßstab braucht.

Wird der Vergleich von einem Modell durchgeführt, kommt eine bekannte Verzerrung dazu: Die zuerst gezeigte Antwort wird bevorzugt. Das Gegenmittel ist einfach, nämlich jede Paarung in beiden Reihenfolgen zu bewerten. Zheng et al.

So kannst du dir das vorstellen

Beim Sehtest wird nicht gefragt, wie scharf du siehst, sondern ob Glas eins oder Glas zwei besser ist. Die Einzelfrage ist leicht zu beantworten, und aus vielen Einzelfragen entsteht ein genaues Ergebnis. Das Bild erklärt das Format, nicht die Auswertung.

Was es in der Praxis bedeutet

Für eigene Vergleiche ist das die praktikabelste Form: zwei Varianten, dieselben dreißig Aufgaben, Antworten anonymisiert und in zufälliger Reihenfolge. Wer weiß, welche Variante von wem stammt, bewertet nicht mehr neutral.

Zu beachten ist, was dabei nicht herauskommt. Der Vergleich sagt, welche Variante häufiger gewinnt, nicht, ob eine davon gut genug ist. Beide können durchfallen, und die Rangliste sieht trotzdem unauffällig aus.

Wo es verwechselt wird

Paarvergleiche ergeben eine relative Ordnung, keine absolute Qualität. Und eine Rangliste aus Nutzerstimmen misst Vorlieben, nicht fachliche Richtigkeit.

Verwandte Begriffe

Human Evaluation, LLM-as-a-Judge, Autorater, Benchmark, Evaluation.