Evaluation, Messgrößen und Benchmark-Fallen
Autorater
Automatischer Bewerter, etwa ein auf menschliche Urteile abgestimmtes Modell.
Ein Autorater ist ein automatischer Bewerter: ein Modell oder Verfahren, das Ausgaben benotet, statt dass Menschen es tun. Der Ausdruck wird vor allem dort benutzt, wo der Bewerter auf menschliche Urteile abgestimmt wurde, also an einem Satz von Beispielbewertungen ausgerichtet ist.
Abstimmung auf menschliche Urteile ist der Kern
Ein Bewerter, der einfach nur gefragt wird, wie gut eine Antwort ist, liefert Zahlen, deren Bedeutung unklar bleibt. Nützlich wird er erst durch den Abgleich: Man sammelt menschliche Urteile, prüft, wie oft der automatische Bewerter dazu passt, und schärft die Kriterien, bis die Übereinstimmung hoch genug ist. Als Bezugsgröße dient dabei, wie oft Menschen untereinander übereinstimmen. Zheng et al.
Wie bei jeder Bewertung gilt auch hier, dass eine einzelne Zahl zu wenig ist und mehrere Eigenschaften nebeneinander gemessen gehören. Liang et al.
So kannst du dir das vorstellen
Ein Autorater ist die eingelernte Prüfvorrichtung in der Fertigung. Sie wurde an Teilen kalibriert, die ein Mensch beurteilt hat, und misst danach selbständig. Verschiebt sich die Fertigung, misst sie weiter munter falsch, bis jemand nachkalibriert. Das Bild erklärt die Abhängigkeit von der Eichung, nicht die Messtechnik.
Was es in der Praxis bedeutet
Ein Autorater ist der einzige Weg, größere Mengen regelmäßig zu bewerten. Damit er trägt, gehören drei Dinge dazu: eine feste Bewertungsanleitung, eine Stichprobe mit menschlichen Urteilen zum Abgleich und eine Wiederholung dieses Abgleichs, wenn sich Modell, Prompt oder Aufgabenmix ändern.
Sinnvoll ist außerdem, den Bewerter getrennt vom geprüften System zu betreiben, einschließlich eines anderen Modells. Sonst bewertet dieselbe Denkweise ihr eigenes Ergebnis.
Wo es verwechselt wird
Autorater und LLM-as-a-Judge werden weitgehend gleichbedeutend benutzt; Autorater betont die Abstimmung auf menschliche Urteile. Und ein Autorater misst Übereinstimmung mit Kriterien, nicht Wahrheit.
Verwandte Begriffe
LLM-as-a-Judge, Automatic Evaluation, Human Evaluation, Golden Dataset, Evaluation.