---
term: "Golden Dataset"
slug: "golden-dataset"
glossar_id: "G323"
variants: ["Gold Set"]
category: "evaluation-messgroessen-und-benchmark-fallen"
marker: ""
short: "Kuratierter Referenzdatensatz für Evaluation."
sources:
  - label: "Liang et al.: Holistic Evaluation of Language Models"
    url: "https://arxiv.org/abs/2211.09110"
  - label: "Es et al.: Ragas, Automated Evaluation of Retrieval Augmented Generation"
    url: "https://arxiv.org/abs/2309.15217"
status: "entwurf"
updated: "2026-09-21"
---

Ein Golden Dataset ist eine sorgfältig zusammengestellte Sammlung von Aufgaben mit der jeweils erwarteten Antwort, an der ein System geprüft wird. Golden heißt hier: Jemand hat sich die Fälle angesehen und entschieden, was als richtig gilt. Die Sammlung ist damit der Maßstab, gegen den gemessen wird.

## Die Auswahl der Fälle entscheidet über die Aussagekraft

Nützlich ist eine solche Sammlung nur, wenn sie das abdeckt, was im Betrieb wirklich vorkommt, einschließlich der unangenehmen Fälle: mehrdeutige Fragen, Fragen ohne Antwort im Bestand, Fragen mit veralteten Angaben. Wer nur die gelungenen Beispiele aufnimmt, misst die eigene Zuversicht.

Auch die Abdeckung von Szenarien und Kennzahlen ist eine bewusste Entscheidung, bei der Lücken benannt gehören. [Liang et al.](https://arxiv.org/abs/2211.09110) Für Systeme mit Abruf gibt es zudem Bewertungen, die ohne menschlich gesetzte Referenzantworten auskommen, was den Aufbau erleichtert. [Es et al.: Ragas](https://arxiv.org/abs/2309.15217)

## So kannst du dir das vorstellen

Die Sammlung ist die Musterlösung eines Lehrers. Sie ist nicht die Wahrheit, sondern eine begründete Festlegung. Wenn die Musterlösung schief ist, sind alle Bewertungen schief, und niemand merkt es beim Korrigieren. Das Bild erklärt die Rolle der Referenz, nicht ihre Richtigkeit.

## Was es in der Praxis bedeutet

Fang klein an: dreißig bis fünfzig echte Fälle aus dem eigenen Betrieb, jeweils mit erwarteter Antwort und mit der Quelle, aus der sie kommen soll. Diese Sammlung ist wertvoller als jeder eingekaufte Test, weil sie deine Aufgabe misst.

Sie braucht Pflege. Wenn sich Richtlinien ändern, ändern sich die richtigen Antworten, und eine veraltete Referenz bestraft das System für korrektes Verhalten. Sinnvoll ist deshalb, Fälle mit Datum zu versehen und regelmäßig zu prüfen, ob sie noch gelten.

## Wo es verwechselt wird

Die Sammlung ist kein Trainingsmaterial: Wer daran trainiert, kann damit nicht mehr messen. Und sie ist kein Benchmark, weil sie nicht dem Vergleich zwischen Modellen dient, sondern der Prüfung des eigenen Systems.

## Verwandte Begriffe

**Golden Response**, **Ground Truth**, **Evaluation**, **Benchmark**, **Human Evaluation**.