Namen häufig genannter Benchmarks
MATH-500
Ausgewählter Teil mathematischer Aufgaben aus dem MATH-Benchmark.
MATH-500 bezeichnet eine Teilmenge von 500 Aufgaben aus dem Testteil des MATH-Datensatzes. MATH selbst erschien 2021 und enthält 12.500 Wettbewerbsaufgaben mit vollständigen Lösungswegen, sortiert nach Fachgebiet und fünf Schwierigkeitsstufen. Hendrycks et al.: MATH
Der Name stammt nicht aus der Arbeit, die den Zuschnitt gemacht hat
Der 500er Ausschnitt geht auf eine Arbeit von 2023 zurück, die Belohnungsmodelle nicht nur am Endergebnis, sondern an jedem Zwischenschritt trainiert hat. Sie spricht von einer „repräsentativen Teilmenge" des MATH-Testsets und berichtet darauf 78 Prozent gelöste Aufgaben. Lightman et al.
Den Namen MATH-500 bekam der Ausschnitt erst später in der Praxis, über weiterverbreitete Datensatzkopien. Deshalb ist die Bezeichnung uneinheitlich: Manche Vergleiche meinen den 500er Ausschnitt, andere das vollständige MATH-Testset, wieder andere nur die schwerste Stufe. Wer Werte vergleicht, muss das in der jeweiligen Quelle nachsehen.
So kannst du dir das vorstellen
Aus einem dicken Aufgabenbuch zieht jemand 500 Aufgaben heraus, damit das Durchrechnen bezahlbar bleibt. Später zitieren alle diese Auswahl, und der Rest des Buches gerät in Vergessenheit. Das Bild erklärt, wie der Zuschnitt zum Standard wurde, es sagt nichts über die Qualität der Auswahl.
Was es in der Praxis konkret bedeutet
MATH-500 ist heute ein Einstiegstest, kein Unterscheidungsmerkmal. Starke Reasoning-Modelle liegen dort im oberen Neunzigerbereich, und die verbleibenden Punkte gehen oft auf Formatfragen zurück, also darauf, wie die Antwort notiert und automatisch verglichen wird. Wenn du selbst misst, prüfe die Antwortauswertung, bevor du die Zahl deutest.
Wo es verwechselt wird
MATH-500 ist nicht MATH. Der volle Testsatz ist zehnmal größer und enthält auch leichtere Aufgaben. Und gegenüber AIME ist der Unterschied nicht nur Schwierigkeit: Dort zählt eine ganze Zahl als Antwort, hier auch Terme und Brüche, was die automatische Bewertung fehleranfälliger macht.
Verwandte Begriffe
AIME, GSM8K, FrontierMath, Reasoning Model, Benchmark, Benchmark Contamination.