Ground Truth

Ground Truth bezeichnet die Angabe, die in einer Bewertung als maßgeblich gilt: das richtige Label, die richtige Antwort, das richtige Ergebnis. Der Ausdruck kommt aus dem maschinellen Lernen, wo Vorhersagen gegen bekannte Werte gehalten werden, etwa in einer Wahrheitsmatrix.

Maßgeblich heißt nicht wahr

Der Begriff klingt nach Tatsache, beschreibt aber eine Setzung. Jemand hat entschieden, was als richtig gilt, und diese Entscheidung kann falsch, veraltet oder umstritten sein. Bei Fragen ohne eindeutige Antwort verschiebt sich das Problem lediglich: Dann gilt die Mehrheitsmeinung mehrerer Bewerter als Referenz.

Deshalb gibt es Bewertungsverfahren, die ohne von Menschen gesetzte Referenzen auskommen und stattdessen andere Eigenschaften prüfen, etwa ob Aussagen vom bereitgestellten Kontext gedeckt sind. Es et al.: Ragas

So kannst du dir das vorstellen

Ground Truth ist der geeichte Maßstab in der Werkstatt. Alle Messungen beziehen sich darauf. Ist er verzogen, sind alle Teile falsch, und zwar gleichmäßig falsch, was den Fehler schwer sichtbar macht. Das Bild erklärt die Rolle der Referenz, nicht ihre Herkunft.

Was es in der Praxis bedeutet

Bevor du Zahlen aus einer Bewertung liest, frag, woher die Referenz stammt: Wer hat sie festgelegt, wann, und wie wurde mit uneindeutigen Fällen umgegangen. Bei Bewertungen über viele Kennzahlen und Szenarien gehören diese Angaben ausdrücklich dazu. Liang et al.

Im eigenen Projekt heißt das: Referenzen datieren und regelmäßig prüfen. Besonders bei Wissen, das sich ändert, entwertet eine veraltete Referenz die Messung, und das System wird für korrektes Verhalten abgewertet.

Wo es verwechselt wird

Ground Truth ist nicht die Realität, sondern deren Stellvertreter in einer Messung. Und Uneinigkeit unter Bewertern ist kein Störgeräusch, sondern oft ein Hinweis darauf, dass die Aufgabe unscharf gestellt ist.

Verwandte Begriffe

Golden Dataset, Golden Response, Human Evaluation, Evaluation, Factuality.