Namen häufig genannter Benchmarks
GPQA
Heißt auch GPQA Diamond.
Anspruchsvolle Fragen aus wissenschaftlichen Fachgebieten.
GPQA ist ein Satz von 448 Multiple-Choice-Fragen aus Biologie, Physik und Chemie, geschrieben von Fachleuten mit Promotion im jeweiligen Gebiet. Der Anspruch der Arbeit von 2023: Nachschlagen soll nicht helfen. Geprüfte Nichtfachleute erreichten nur 34 Prozent, obwohl sie im Schnitt über dreißig Minuten pro Frage mit freiem Zugang zum Netz suchen durften. Rein et al.: GPQA
In Ankündigungen steht fast immer die Diamond-Teilmenge
Neben dem Hauptsatz gibt es GPQA Diamond mit 198 Fragen. Aufgenommen wurde dort nur, was beide prüfenden Fachleute richtig beantwortet haben und die Mehrheit der Nichtfachleute falsch. Auf dieser Teilmenge liegt die Trefferquote der Fachleute bei 81,3 Prozent, die der Nichtfachleute bei 22,1 Prozent, also unter dem Zufallsniveau von 25 Prozent bei vier Antwortoptionen.
Zur Einordnung der Ausgangslage: Das stärkste Modell im Vergleich der Arbeit kam auf 39 Prozent. Das war der Stand Ende 2023. Aktuelle Modelle liegen deutlich darüber, weshalb heute meist Diamond berichtet wird und der Hauptsatz kaum noch auftaucht.
So kannst du dir das vorstellen
Denk an eine Prüfungsfrage aus dem Hauptstudium, die man nicht durch Nachschlagen löst, weil man erst verstehen muss, was gefragt ist. Ein fachfremder Kollege mit Suchmaschine kommt damit nicht weiter, eine Fachkollegin beantwortet sie aus dem Stand. Das Bild erklärt den Zuschnitt der Fragen, es sagt nichts darüber, wie ein Modell zu seiner Antwort kommt.
Was es in der Praxis konkret bedeutet
198 Fragen sind wenig. Ein Unterschied von zwei Prozentpunkten zwischen zwei Modellen entspricht vier Fragen und kann reines Rauschen sein. Prüfe außerdem, ob Diamond oder der Hauptsatz gemeint ist, sonst vergleichst du zwei verschiedene Tests. Seit der Datensatz offen liegt, ist auch nicht mehr auszuschließen, dass Teile davon in Trainingsdaten gelandet sind.
Wo es verwechselt wird
GPQA misst Fachwissen in drei Naturwissenschaften, nicht allgemeine Intelligenz und nicht die Fähigkeit, eine Aufgabe über mehrere Schritte zu bearbeiten. Mit MMLU teilt es das Format, nicht den Anspruch: Dort geht es um Breite, hier um Tiefe in wenigen Fächern.
Verwandte Begriffe
Benchmark, MMLU, Humanity’s Last Exam, Benchmark Contamination, Evaluation, FrontierMath.