Namen häufig genannter Benchmarks
GSM8K
Benchmark mit mathematischen Textaufgaben auf Schulniveau.
GSM8K ist ein Datensatz aus rund 8.500 Textaufgaben auf Grundschulniveau, veröffentlicht 2021. Die Aufgaben sind inhaltlich einfach, verlangen aber mehrere Rechenschritte hintereinander. Genau daran scheiterten die damaligen Modelle, obwohl sie andere Tests längst bestanden. Cobbe et al.
Der Test hat eine Arbeitsweise bekannt gemacht
Die Arbeit hinter GSM8K schlug vor, viele Lösungswege erzeugen zu lassen und einen zweiten Modelllauf entscheiden zu lassen, welcher davon stimmt. Dieses Prüfen von Kandidaten statt einmaligem Raten ist ein Vorläufer dessen, was heute in Reasoning-Modellen und in Selbstprüfungsschleifen steckt.
Als Maßstab taugt GSM8K seit Jahren nicht mehr, weil die vorderen Modelle nahe an hundert Prozent liegen. Interessanter ist, was eine Nachprüfung von 2024 zeigte: Ein nachgebauter Aufgabensatz im gleichen Stil, aber garantiert nicht in Trainingsdaten enthalten, ließ die Werte einzelner Modellfamilien um bis zu acht Prozentpunkte fallen. Je häufiger ein Modell Aufgaben aus GSM8K wörtlich erzeugen konnte, desto größer war der Abstand. Zhang et al.
So kannst du dir das vorstellen
Zwei Klassen schreiben dieselbe Mathearbeit. Eine hat die Aufgaben vorher gesehen, die andere nicht. Beide kommen auf gute Noten, aber nur bei einer sagt die Note etwas über das Können aus. Das Bild erklärt, warum ein neu geschriebener Aufgabensatz aussagekräftiger ist, es unterstellt keinem Modell absichtliches Abschreiben.
Was es in der Praxis konkret bedeutet
Wenn in einem Release-Post 2026 noch ein GSM8K-Wert steht, ist das kein Argument für ein Modell. Für die Auswahl sind schwerere Mathematiktests aussagekräftiger. Als eigener Test bleibt GSM8K brauchbar, wenn du prüfen willst, ob ein kleines oder stark quantisiertes Modell mehrschrittiges Rechnen überhaupt noch zuverlässig schafft.
Wo es verwechselt wird
GSM8K misst Textaufgaben mit einfachen Zahlen, nicht Mathematik auf Wettbewerbsniveau. Dafür stehen MATH-500 und AIME. Und die Nachprüfung von 2024 belegt keinen Betrug, sondern Überanpassung an einen viel benutzten Datensatz.
Verwandte Begriffe
Benchmark Contamination, MATH-500, AIME, Reasoning Model, Benchmark, Overfitting.