Namen häufig genannter Benchmarks
MMLU
Heißt auch MMLU-Pro.
Benchmarks für breit gefächertes Wissen und anspruchsvollere Wissensfragen.
MMLU steht für Massive Multitask Language Understanding, einen Test aus Multiple-Choice-Fragen über 57 Fächer, von Elementarmathematik über Geschichte bis Jura. Die Arbeit dahinter erschien 2020, als die damals größten Modelle im Schnitt nur knapp zwanzig Prozentpunkte über dem Zufallsniveau lagen. Hendrycks et al.: MMLU
Der Test ist schneller gealtert als geplant
Sechs Jahre später ist MMLU kein Unterscheidungsmerkmal mehr. Die Werte der vorderen Modelle liegen dicht beieinander, Fortschritt lässt sich daran kaum noch ablesen. Als Antwort darauf entstand 2024 MMLU-Pro: zehn statt vier Antwortoptionen, aussortierte triviale Fragen und ein stärkeres Gewicht auf mehrschrittigem Rechnen. Die gemessene Genauigkeit fällt dort um 16 bis 33 Prozentpunkte gegenüber MMLU. Wang et al.: MMLU-Pro
Dazu kommt ein Qualitätsproblem im Datensatz selbst. Eine Nachprüfung von 2024 schätzt den Anteil fehlerhafter Fragen auf rund 6,5 Prozent, im untersuchten Teilgebiet Virologie lag er bei 57 Prozent. Die bereinigte Fassung heißt MMLU-Redux. Gema et al.
So kannst du dir das vorstellen
Stell dir einen Ordner mit alten Klausurfragen aus 57 Studiengängen vor, der seit Jahren im Umlauf ist. Wer viel davon schon gesehen hat, schneidet gut ab, ohne dass daraus folgt, dass er den Stoff beherrscht. Das Bild erklärt, warum hohe Werte wenig aussagen, es behauptet nicht, dass jedes Modell die Fragen kennt.
Was es in der Praxis konkret bedeutet
Eine MMLU-Zahl ohne Zusatz ist wertlos. Notiere dir immer, welche Fassung gemessen wurde, in welchem Jahr und mit welchem Verfahren, also etwa mit oder ohne Beispielfragen im Prompt und mit oder ohne Gedankenkette. Vorsprünge von ein bis zwei Punkten liegen im Bereich der bekannten Datensatzfehler und taugen nicht als Entscheidungsgrundlage.
Wo es verwechselt wird
MMLU ist reiner Text. Der ähnlich klingende Test MMMU prüft Bild und Text zusammen. Und MMLU-Pro ist kein schwererer Modus, sondern ein eigener Datensatz, dessen Werte sich nicht mit MMLU vergleichen lassen.
Verwandte Begriffe
Benchmark, Benchmark Contamination, GPQA, Humanity’s Last Exam, MMMU-Pro, Evaluation.