LiveCodeBench

LiveCodeBench sammelt laufend neue Programmieraufgaben von drei Wettbewerbsplattformen und versieht sie mit dem Datum ihrer Veröffentlichung. Wer ein Modell bewertet, kann damit nur Aufgaben heranziehen, die nach dessen Trainingsschluss erschienen sind. Bei der Vorstellung 2024 umfasste die Sammlung 400 Aufgaben aus einem Jahr. Jain et al.

Ein Zeitstempel als Mittel gegen Auswendiglernen

Ältere Codetests haben ein gemeinsames Problem: Ihre Aufgaben stehen seit Jahren offen im Netz und stecken mit hoher Wahrscheinlichkeit in den Trainingsdaten. Chen et al. Der Zeitstempel löst das, ohne den Datensatz geheim halten zu müssen. Wächst die Sammlung weiter, bleibt für jedes neue Modell ein unbelasteter Ausschnitt übrig.

Gemessen wird außerdem mehr als das Schreiben von Code. Dazu gehören das Reparieren fehlerhafter eigener Lösungen, das Vorhersagen der Ausgabe eines Programms und das Ausführen von Code im Kopf. Diese Teilaufgaben zeigen Unterschiede, die eine reine Lösungsquote verdeckt.

So kannst du dir das vorstellen

Eine Prüfung, deren Aufgaben jede Woche neu gestellt werden, mit Datumsstempel auf jedem Blatt. Wer prüft, nimmt nur Blätter, die nach dem Lernstand des Prüflings entstanden sind. Das Bild erklärt den Kontaminationsschutz, es sagt nichts über den Schwierigkeitsgrad der Aufgaben.

Was es in der Praxis konkret bedeutet

Ein LiveCodeBench-Wert ist nur mit Zeitfenster zu lesen. „82 Prozent" ohne Angabe, welcher Zeitraum ausgewertet wurde, ist keine Information, weil ältere Fenster für neuere Modelle belastet sein können. Achte auf die Angabe des Aufgabenzeitraums, und vergleiche nur Modelle, die im selben Fenster gemessen wurden.

Wo es verwechselt wird

Die Aufgaben stammen aus Programmierwettbewerben, nicht aus Projekten. Gemessen wird also algorithmisches Lösen unter Zeitdruck, nicht das Zurechtfinden in fremdem Code. Dafür steht SWE-bench.

Verwandte Begriffe

SWE-bench, HumanEval, MBPP, Benchmark Contamination, Pass@k, Benchmark.