---
term: "MMMU-Pro"
slug: "mmmu-pro"
glossar_id: "G483"
variants: []
category: "namen-haeufig-genannter-benchmarks"
marker: ""
short: "Anspruchsvoller multimodaler Wissensbenchmark."
sources:
  - label: "Yue et al.: MMMU-Pro"
    url: "https://arxiv.org/abs/2409.02813"
  - label: "Hendrycks et al.: Measuring Massive Multitask Language Understanding"
    url: "https://arxiv.org/abs/2009.03300"
status: "entwurf"
updated: "2026-09-21"
---

MMMU-Pro ist die verschärfte Fassung eines Tests für Modelle, die Bild und Text zusammen verarbeiten. Die Aufgaben stammen aus Studienfächern und enthalten Diagramme, Karten, Notenblätter oder chemische Formeln. Die Werte fallen gegenüber der Ausgangsfassung um rund 17 bis 27 Prozentpunkte. [Yue et al.](https://arxiv.org/abs/2409.02813)

## Drei Eingriffe gegen Scheinleistung

Zuerst flogen alle Fragen raus, die ein reines Textmodell ohne das Bild lösen konnte. Das waren mehr, als man erwarten würde, denn oft verrät die Frageformulierung die Antwort. Dann kamen zusätzliche Antwortoptionen dazu, damit Raten weniger einbringt.

Der dritte Eingriff ist der härteste: eine Variante, in der die Frage selbst als Teil des Bildes vorliegt. Das Modell muss also lesen und sehen zugleich, statt einen sauberen Fragetext geliefert zu bekommen. Reine Texterkennung im Prompt hilft dort kaum weiter, schrittweises Vorgehen dagegen schon.

## So kannst du dir das vorstellen

Eine Prüfungsfrage als abfotografiertes Blatt, mit Diagramm daneben und handschriftlicher Randnotiz. Wer nur den Text abtippen lässt, verliert die halbe Aufgabe. Das Bild erklärt die Bildmodus-Variante, es steht nicht für eine konkrete Aufgabe aus dem Datensatz.

## Was es in der Praxis konkret bedeutet

Für alles, was mit Belegen, Formularen und Screenshots zu tun hat, ist das der relevanteste der bekannten multimodalen Tests. Achte beim Lesen darauf, welcher Modus gemeint ist: Standard oder reine Bildeingabe. Die beiden Zahlen liegen weit auseinander, und für Dokumentenverarbeitung ist die Bildvariante die ehrlichere.

## Wo es verwechselt wird

Die Namensähnlichkeit zu MMLU führt regelmäßig in die Irre. MMLU ist reiner Text. [Hendrycks et al.](https://arxiv.org/abs/2009.03300) Und MMMU-Pro ist kein Modus von MMMU, sondern ein eigener Datensatz, dessen Werte nicht mit der Ausgangsfassung vergleichbar sind.

## Verwandte Begriffe

**MMLU**, **Modality**, **Vision-Language Model**, **OCR**, **Benchmark**, **Image Patch**.