Backbone

Als Backbone wird hier der grundlegende Modellkörper bezeichnet, der Eingaben in interne Merkmalsdarstellungen umwandelt, bevor ein aufgabenspezifischer Ausgabekopf diese weiterverarbeitet. (Hugging-Face-Glossar) Der Begriff beschreibt damit eine Rolle innerhalb des Modells, nicht eine eigenständige Anwendung wie einen fertigen Chatassistenten.

So kannst du dir das vorstellen

Stell dir eine gemeinsame Aufbereitung für eingehende Geschäftsdokumente vor. Sie erzeugt aus jedem Dokument eine strukturierte Arbeitsgrundlage. Darauf können unterschiedliche Auswertungen aufsetzen, etwa die Zuordnung zu einer Dokumentart oder die Kennzeichnung bestimmter Textstellen.

Die gemeinsame Aufbereitung steht für den Backbone, die jeweils anschließende Auswertung für den Model Head. Das Beispiel erläutert die Aufteilung in Modellkern und Aufgabe. Es bedeutet nicht, dass jedes beliebige Ausgabemodul ohne Anpassung an jeden Modellkern angeschlossen werden könnte.

Interne Merkmale statt fertiger Antwort

Ein Basismodell in der Transformers-Bibliothek liefert verborgene Zustände, also kontextabhängige Zahlenvektoren; aufgabenspezifische Modellklassen ergänzen daran angepasste Köpfe. (Hugging Face) Diese Köpfe können beispielsweise Klassifikation, Tokenklassifikation oder Sprachmodellierung abbilden. (Hugging Face)

Der Backbone kann damit nützliche Darstellungen bereitstellen, ohne dass sein unmittelbarer Ausgang bereits eine lesbare Antwort oder eine endgültige Klassenentscheidung ist. (Hugging Face) „Das Modell liefert Vektoren“ beschreibt auf dieser Ebene keinen Defekt, sondern einen vorgesehenen Zwischenstand.

Eine gemeinsame Basis ersetzt kein passendes Training

Die Modellklasse und der gewählte Kopf bestimmen gemeinsam die Form der Aufgabe und der erwarteten Ausgabe. (Hugging Face) Ein neu angesetzter Kopf ist daher noch kein Beleg dafür, dass das Gesamtsystem seine Zielaufgabe bereits zuverlässig beherrscht.

Wenn dir ein Architekturdiagramm einen „Backbone“ zeigt, frage nach dem genauen Grenzverlauf: Welche Verarbeitung gehört zum Modellkern, was übernimmt der Kopf, und welche Teile wurden für die Aufgabe trainiert? Diese Fragen sind aussagekräftiger als die bloße Bezeichnung „gemeinsame KI-Basis“.

Verwandte Begriffe

Zur Einordnung dienen Model Head, Hidden Size, Transformer, Foundation Model und Fine-Tuning.