Namen häufig genannter Benchmarks
FrontierMath
Benchmark mit anspruchsvollen, von Fachleuten erstellten Mathematikaufgaben.
FrontierMath ist eine Sammlung von mehreren hundert Mathematikaufgaben, die eigens für diesen Test von Forschenden geschrieben und gegengeprüft wurden. Die Aufgaben reichen von rechenintensiver Zahlentheorie bis zu abstrakten Fragen aus algebraischer Geometrie und Kategorientheorie. Eine einzelne Aufgabe kostet eine Fachperson des Gebiets mehrere Stunden, im oberen Bereich mehrere Tage. Glazer et al.
Unveröffentlichte Aufgaben als Schutz gegen Auswendiglernen
Der Datensatz ist bewusst nicht offen. Die Aufgaben sind neu und unpubliziert, die Lösungen werden automatisch verifiziert. Damit umgeht der Test das Grundproblem älterer Benchmarks, deren Aufgaben über Jahre in Trainingsdaten gewandert sind. Zhang et al.
Der Preis dafür ist Nachprüfbarkeit. Wer die Aufgaben nicht sehen kann, kann weder den Schwierigkeitsgrad noch die Messung selbst kontrollieren und muss der Stelle vertrauen, die den Test betreibt. Bei Veröffentlichung Ende 2024 lösten die stärksten Modelle unter zwei Prozent der Aufgaben. Diese Zahl ist ein Ausgangspunkt, keine Dauerangabe: Werte aus späteren Jahren gehören immer mit Datum und Angabe des Rechenbudgets gelesen.
So kannst du dir das vorstellen
Statt Prüfungsfragen aus dem Hauptstudium liegen hier Aufgaben, an denen eine Doktorandin einen Arbeitstag sitzt. Der Aufgabensatz bleibt unter Verschluss, damit niemand vorher üben kann. Das Bild erklärt Anspruch und Schutzgedanken, es sagt nichts darüber, wie repräsentativ die Auswahl für Mathematik insgesamt ist.
Was es in der Praxis konkret bedeutet
Für die Auswahl eines Modells im Arbeitsalltag ist FrontierMath ohne Bedeutung. Niemand rechnet im Tagesgeschäft Aufgaben dieser Art. Der Test ist eine Fortschrittsanzeige an der oberen Grenze, und er zeigt, wie weit eine Messung abweicht, wenn die Aufgaben wirklich neu sind. Als Vergleich zu gesättigten Tests wie GSM8K ist das ein nützlicher Gegenpol.
Wo es verwechselt wird
FrontierMath ist kein schwereres MATH. Die Aufgaben stammen nicht aus Wettbewerben, sondern aus der Forschungspraxis, und sie sind einzeln erstellt statt gesammelt. Gegenüber AIME unterscheidet sich außerdem der Zeithorizont: Dort zählen Minuten, hier Stunden bis Tage.
Verwandte Begriffe
AIME, MATH-500, Benchmark Contamination, Humanity’s Last Exam, Benchmark, Evaluation.