Namen häufig genannter Benchmarks
Aider Polyglot
Benchmark für Codeänderungen in mehreren Programmiersprachen.
Aider Polyglot prüft Modelle an 225 Übungsaufgaben aus einer Lernplattform, verteilt auf C++, Go, Java, JavaScript, Python und Rust. Der Test stammt aus einem Kommandozeilenwerkzeug für KI-gestütztes Programmieren und misst ausdrücklich, ob ein Modell Anweisungen befolgt und Code ohne menschliches Eingreifen ändern kann. Aider: Polyglot-Bestenliste
Gemessen wird auch, ob die Änderung überhaupt ankommt
Neben der Lösungsquote weist die Bestenliste eine zweite Zahl aus: den Anteil der Antworten im korrekten Bearbeitungsformat. Ein Werkzeug, das Änderungen automatisch einspielt, braucht sie in einer festen Form, etwa als Diff. Wer die Aufgabe inhaltlich löst, das Format aber verfehlt, produziert Arbeit statt Ergebnis.
Diese zweite Zahl ist der eigentliche Grund, den Test zu kennen. Sie trennt Modelle, die Code schreiben können, von Modellen, die sich in einen automatisierten Ablauf einfügen. Dazu kommt die Angabe der Kosten pro Durchlauf, was den Vergleich ehrlicher macht als eine reine Trefferquote.
So kannst du dir das vorstellen
Ein Handwerker liefert die richtige Reparatur, aber als Fotoserie statt als ausgefülltem Auftragsformular. Fachlich stimmt es, verarbeiten lässt es sich trotzdem nicht. Das Bild erklärt, warum das Format mitgemessen wird, es sagt nichts über die Qualität der Lösung selbst.
Was es in der Praxis konkret bedeutet
Wenn du ein Modell in einem Werkzeug einsetzt, das Dateien selbstständig bearbeitet, ist die Formatquote wichtiger als die letzten Prozentpunkte Lösungsquote. Ein Modell mit hoher Trefferquote und schlechter Formatdisziplin kostet dich Nacharbeit bei jedem zweiten Lauf. Die Werte sind eine Momentaufnahme der Bestenliste und ändern sich mit jedem neuen Modell.
Wo es verwechselt wird
Die Aufgaben sind abgeschlossene Übungen, kein Arbeiten an gewachsenem Code. Gegenüber SWE-bench fehlt damit die Suche nach der richtigen Stelle im Projekt. Jimenez et al. Und gemessen wird das Zusammenspiel von Modell und Werkzeug, nicht das Modell allein.
Verwandte Begriffe
SWE-bench, Coding Agent, LiveCodeBench, Structured Output, Tool Use, Benchmark.