GPU-Poor

GPU-Poor und GPU-Rich teilen die KI-Welt nach einer einzigen Größe: wie viele Beschleuniger jemand hat. Beide Ausdrücke wurden im Sommer 2023 durch eine vielzitierte Branchenanalyse bekannt, mitten in der großen Knappheit an Rechenkarten. SemiAnalysis

Die Einteilung war zuerst eine Spitze

Gemeint war nicht die Garage gegen den Konzern. Als GPU-arm galten auch bekannte Firmen mit ordentlicher Ausstattung, sobald sie neben den größten Rechenzentren standen. Die Pointe lag darin, dass ihre Forschung sich zwangsläufig auf kleine Modelle und sparsame Verfahren richtet, während die Grenze des Machbaren anderswo verschoben wird.

Dahinter steckt ein nachrechenbarer Zusammenhang: Wie gut ein Modell wird, hängt vom Zusammenspiel aus Rechenaufwand, Datenmenge und Parameterzahl ab. Wer wenig Rechenzeit hat, kann Größe nicht durch Fleiß ersetzen. Hoffmann et al.

So kannst du dir das vorstellen

Zwei Küchen. In der einen wird jede Zutat abgewogen und zweimal verwendet, in der anderen stehen zwanzig Töpfe gleichzeitig auf dem Herd. Beide kochen, aber nur eine kann ein neues Gericht durch Ausprobieren finden. Das Bild erklärt den Unterschied im Vorgehen, nicht im Ergebnis.

Was es in der Praxis konkret bedeutet

Für dich als Anwender ist die Einteilung vor allem eine Landkarte für Erwartungen. Wer knapp ausgestattet ist, liefert eher kleine Modelle, Feinabstimmung und Werkzeuge zur sparsamen Ausführung, und genau daraus kommen die Verfahren, mit denen du lokal arbeiten kannst. Rechne bei eigenen Vorhaben lieber mit dem, was auf vorhandener Hardware läuft, statt auf Kapazität zu warten.

Wo es verwechselt wird

GPU-Poor ist keine Aussage über Qualität. Einige der meistgenutzten offenen Modelle stammen aus Häusern, die man damals so bezeichnet hätte. Und es ist keine feste Kategorie: Mietkapazität in der Cloud verschiebt die Grenze mit jedem Vertrag.

Verwandte Begriffe

GPU, Compute, Scaling Laws, Chinchilla Scaling, Small Language Model, Local LLM.