Grundbegriffe und Modelltypen
Foundation Model
Heißt auch Grundlagenmodell oder Basismodell im breiten Sinn.
Breit vortrainiertes Modell als Grundlage verschiedener Anwendungen.
Ein Foundation Model ist ein breit vortrainiertes Modell, das auf einem großen, vielfältigen Datenbestand gelernt hat und als Grundlage für unterschiedliche Anwendungen oder weitere Anpassungen dienen kann. (Google) Der Begriff betont diese vielseitige Ausgangsbasis. (Google)
So kannst du dir das vorstellen
Stell dir eine Werkstatt mit einer gemeinsamen Grundausstattung vor. Verschiedene Betriebe können darauf aufbauen: Einer richtet einen Reparaturservice ein, ein anderer eine Fertigung für Einzelstücke.
Die Grundausstattung entspricht in dieser Metapher dem Foundation Model. Die konkrete Einrichtung und die Arbeitsabläufe stehen für die späteren Anwendungen und Anpassungen. Niemand muss für jeden einzelnen Auftrag wieder mit einer leeren Halle beginnen.
Der Vergleich darf allerdings nicht suggerieren, ein Modell enthalte ordentlich sortierte Werkzeuge für jede denkbare Aufgabe. Gemeint ist seine Rolle als bereits trainierte technische Grundlage.
Warum der Begriff nützlich ist
Ein Foundation Model kann einerseits direkt auf unterschiedliche Anfragen reagieren und andererseits durch Fine-Tuning für spezielle Aufgaben angepasst werden. (Google) Für Unternehmen eröffnet das die Frage, wie viel eigene Entwicklung überhaupt nötig ist.
Nehmen wir ein System für verständliche Wartungshinweise. Bevor du ein Modell eigens trainieren lässt, könntest du prüfen, was eine vorhandene Grundlage mit klaren Anweisungen und passenden Eingaben leistet. Erst die verbleibenden Fehler würden zeigen, welche zusätzliche Anpassung sinnvoll erscheint.
Foundation Model und Base Model
Die Begriffe überschneiden sich, betonen aber unterschiedliche Dinge: Foundation Model beschreibt vor allem die breite Grundlage, Base Model die Rolle eines vortrainierten Modells als Ausgangspunkt für weitere Anpassungen. (Google) Im Umfeld herunterladbarer Sprachmodelle wird „Base“ häufig enger für die Variante vor dem Instruction-Tuning verwendet. (LLM Configurator)
Suche in einer Modellbeschreibung deshalb nach dem konkreten Trainingsstand. Der Ausdruck „Basismodell“ allein kann sonst offenlassen, ob eine breite Modellfamilie oder eine noch nicht auf Anweisungen abgestimmte Variante gemeint ist.
Verwandte Begriffe
Base Model, Pretraining, Fine-Tuning, Instruct Model und Transfer Learning helfen bei der weiteren Einordnung. Besonders leicht zu verwechseln sind Foundation Model und Base Model.