Namen häufig genannter Benchmarks
SWE-bench
Heißt auch SWE-bench Verified.
Bearbeitung realer Softwareprobleme; Verified bezeichnet eine geprüfte Teilmenge.
SWE-bench stellt eine Aufgabe, die dem Alltag in der Softwareentwicklung nahekommt: Gegeben sind eine Codebasis und die Beschreibung eines gemeldeten Fehlers, verlangt ist eine Änderung am Code, die ihn behebt. Der Satz besteht aus 2.294 Fällen aus echten Issues und den zugehörigen Pull Requests von zwölf verbreiteten Python-Projekten. Geprüft wird nicht der Stil der Lösung, sondern ob die Tests des Projekts danach durchlaufen. Jimenez et al.
Berichtet wird fast immer die geprüfte Teilmenge
Am ursprünglichen Satz gab es Kritik: unlösbare Aufgaben, unklare Beschreibungen, Tests, die auch eine korrekte Lösung ablehnen. 2024 entstand daraus SWE-bench Verified, eine von Menschen geprüfte Teilmenge mit 500 Fällen. Datensatzkarte Wenn heute ein Wert genannt wird, ist meist diese Fassung gemeint.
Auch die geprüfte Teilmenge misst nicht nur Können. Eine Untersuchung von 2025 zeigt, dass Modelle allein aus der Fehlerbeschreibung, ohne Zugriff auf die Verzeichnisstruktur, in bis zu 76 Prozent der Fälle die betroffene Datei benennen. Bei Projekten außerhalb von SWE-bench sind es nur bis zu 53 Prozent. Ein Teil der gemessenen Leistung stammt also aus Erinnerung an bekannte Projekte. Liang et al.
So kannst du dir das vorstellen
Ein neuer Kollege bekommt am ersten Tag ein Ticket aus einem Projekt, das er nicht kennt, und soll den Fehler beheben. Abgenommen wird die Lösung von der Testsuite des Projekts. Das Bild erklärt den Zuschnitt der Aufgabe, es sagt nichts darüber, wie ein Modell dabei vorgeht.
Was es in der Praxis konkret bedeutet
SWE-bench ist der aussagekräftigste der gängigen Codetests, weil er an bestehendem Code arbeitet statt an einzelnen Funktionen. Trotzdem gilt: Die Projekte sind alle in Python, alle quelloffen und alle seit Jahren öffentlich. Für deine interne Codebasis in einer anderen Sprache ist der Wert bestenfalls ein Anhaltspunkt. Achte außerdem darauf, welches Gerüst um das Modell herum gemessen wurde, denn Agentenaufbau und Werkzeuge verschieben das Ergebnis erheblich.
Wo es verwechselt wird
Gemessen wird ein Gespann aus Modell und Agentengerüst, nicht das Modell allein. Und Verified ist keine schwerere Variante, sondern eine bereinigte Auswahl aus demselben Bestand.
Verwandte Begriffe
Coding Agent, HumanEval, LiveCodeBench, Aider Polyglot, Benchmark Contamination, Agent Harness.