Namen häufig genannter Benchmarks
ARC-AGI
Heißt auch ARC-AGI-2.
Familie von Aufgaben zu abstrakter Mustererkennung und Generalisierung.
ARC-AGI besteht aus Aufgaben mit farbigen Rastern. Zu jeder Aufgabe gehören im Schnitt gut drei Beispielpaare aus Eingabe- und Ausgaberaster, aus denen die zugrunde liegende Regel zu erschließen ist, und ein weiteres Raster, auf das sie anzuwenden ist. Der Bestand von 2019 umfasst 400 Trainingsaufgaben und 600 Aufgaben zur Bewertung, von denen 200 unveröffentlicht bleiben. Chollet
Gemessen werden soll Lernen, nicht Wissen
Die zugrunde liegende Arbeit argumentiert, dass Können bei einer bestimmten Aufgabe wenig über Intelligenz aussagt, weil es sich durch Vorwissen und Übung erkaufen lässt. Der Vorschlag lautet, stattdessen die Effizienz beim Erwerb neuer Fähigkeiten zu messen. Die Aufgaben setzen deshalb nur Grundannahmen voraus, die Menschen früh entwickeln, etwa Objektpermanenz und einfache Zählbegriffe.
Die zweite Fassung von 2025 behält das Aufgabenformat bei und verschiebt die Schwierigkeit nach oben, um zwischen starken Systemen noch unterscheiden zu können. Dazu gehören Messungen mit menschlichen Testpersonen als Vergleichsbasis. Chollet et al.
So kannst du dir das vorstellen
Ein Intelligenztest mit Bildfolgen, bei dem du aus drei Beispielen die Regel ableitest und auf ein viertes Bild anwendest. Vorwissen hilft kaum, Aufmerksamkeit schon. Das Bild erklärt den Aufgabentyp, es setzt die Aufgaben nicht mit menschlicher Intelligenz gleich.
Was es in der Praxis konkret bedeutet
Für die Auswahl eines Modells für deine Arbeit ist ARC-AGI ohne Bedeutung. Der Test taucht in Ankündigungen auf, weil er als Gradmesser für Fortschritt gilt, nicht weil er Alltagsaufgaben abbildet. Beim Lesen der Werte lohnt der Blick auf das Rechenbudget: Dieselben Systeme erreichen mit sehr viel mehr Rechenzeit pro Aufgabe deutlich höhere Quoten, was den Vergleich zwischen Meldungen erschwert.
Wo es verwechselt wird
Ein hoher Wert ist kein Nachweis für AGI, auch wenn der Name das nahelegt. Gemessen wird das Lösen abstrakter Rasteraufgaben unter definierten Bedingungen. Und ARC-AGI-2 ist eine eigene Aufgabensammlung, ihre Werte lassen sich nicht mit denen der ersten Fassung vergleichen.
Verwandte Begriffe
Benchmark, AGI, Reasoning Model, Generalization, Inference-Time Compute, Benchmark Contamination.