Groundedness

Groundedness, oft auch Faithfulness genannt, misst, wie weit die Aussagen einer Antwort durch den bereitgestellten Kontext gedeckt sind. Gefragt wird nicht, ob etwas wahr ist, sondern ob es in den abgerufenen Stellen steht. Beides fällt auseinander: Eine Antwort kann richtig sein und trotzdem nicht durch die Quellen gedeckt.

Die Bewertung zerlegt die Antwort in Aussagen

Ein verbreiteter Rahmen zur Bewertung von RAG-Systemen trennt mehrere Dimensionen: ob der Abruf die passenden Stellen findet, ob das Modell diese Stellen treu verwendet, und wie gut die Antwort insgesamt ist. Es et al.: Ragas

Für die Treue wird die Antwort in einzelne Behauptungen zerlegt, und für jede wird geprüft, ob sie sich aus dem Kontext ableiten lässt. Der Anteil der gedeckten Behauptungen ergibt den Wert. Diese Prüfung übernimmt meist wieder ein Modell, was praktisch ist und die Unsicherheit nur verschiebt.

So kannst du dir das vorstellen

Eine Hausarbeit wird nicht nur auf Richtigkeit geprüft, sondern auch darauf, ob jede Behauptung aus der angegebenen Literatur stammt. Ein Satz kann stimmen und trotzdem angestrichen werden, weil er nicht belegt ist. Das Bild erklärt den Maßstab, es beschreibt kein konkretes Messverfahren.

Was es in der Praxis bedeutet

Dieser Wert ist die nützlichste Kennzahl für RAG-Systeme im Betrieb, weil er genau die Fehlerart trifft, die Nutzer verärgert: eine flüssige Antwort mit Details, die in keiner Quelle stehen.

Verbessern lässt er sich an drei Stellen: bessere Treffer, damit überhaupt etwas Passendes im Kontext liegt; eine klare Anweisung, nur aus dem Kontext zu antworten und Lücken zu benennen; und Quellenangaben je Aussage, weil sie die Prüfung erst möglich machen. Ein niedriger Wert bei guten Treffern deutet auf die Anweisung hin, ein niedriger Wert bei schlechten Treffern auf den Abruf. Gao et al.

Wo es verwechselt wird

Groundedness ist nicht Korrektheit: Eine Antwort kann vollständig gedeckt und trotzdem falsch sein, wenn die Quelle falsch ist. Und sie ist nicht Relevanz, denn auch eine gedeckte Antwort kann an der Frage vorbeigehen.

Verwandte Begriffe

Grounding, Hallucination, Retrieval-Augmented Generation, Retrieval Noise, LLM-as-a-Judge.