Evaluation, Messgrößen und Benchmark-Fallen
Human Evaluation
Bewertung durch Menschen.
Human Evaluation ist die Bewertung von Modellausgaben durch Menschen. Sie gilt als Maßstab überall dort, wo es keine eindeutig richtige Antwort gibt, also bei Formulierung, Nützlichkeit, Tonfall und Angemessenheit.
Paarvergleiche statt Schulnoten
Praktisch bewährt hat sich der Vergleich zweier Antworten auf dieselbe Aufgabe. Eine offene Plattform sammelt solche Urteile im großen Maßstab: Nutzer sehen zwei anonyme Antworten und wählen die bessere, aus den Stimmen entsteht eine Rangliste. Chiang et al.
Der Grund für Paarvergleiche ist einfach: Menschen vergeben Punktzahlen uneinheitlich, entscheiden sich zwischen zwei Vorlagen aber verlässlich. Die Übereinstimmung zwischen menschlichen Urteilen liegt dabei nicht bei hundert Prozent, sondern dient selbst als Messlatte für automatische Bewerter. Zheng et al.
So kannst du dir das vorstellen
Der Unterschied ist der zwischen einer Weinbewertung in Punkten und einer Verkostung mit zwei Gläsern. Punkte schwanken je nach Tagesform, die Entscheidung zwischen zwei Gläsern ist stabiler. Das Bild erklärt die Wahl des Formats, es sagt nichts über die Fachkenntnis der Bewertenden.
Was es in der Praxis bedeutet
Menschliche Bewertung ist teuer und langsam, deshalb lohnt sie sich dort am meisten, wo automatische Verfahren versagen: bei der Frage, ob eine Antwort fachlich brauchbar ist. Sinnvoll ist ein kleiner, fester Satz von Fällen, den dieselben Personen regelmäßig beurteilen.
Zwei Dinge erhöhen den Wert erheblich: eine kurze Anleitung, woran gute Antworten erkennbar sind, und die Messung, wie oft zwei Bewertende übereinstimmen. Ohne diese Übereinstimmungsprüfung weißt du nicht, ob du Qualität misst oder Geschmack.
Wo es verwechselt wird
Menschliche Bewertung ist nicht automatisch objektiv: Sie misst Vorlieben, und die hängen von Auswahl und Anleitung der Bewertenden ab. Und Nutzerdaumen im Produkt sind keine Evaluation, weil die Auswahl der Rückmeldenden verzerrt ist.
Verwandte Begriffe
Pairwise Evaluation, LLM-as-a-Judge, Automatic Evaluation, Evaluation, Golden Response.