Multimodal Projector

Der Projektor ist die Verbindungsschicht zwischen Bildencoder und Sprachmodell. Er nimmt die Vektoren, die der Encoder aus dem Bild erzeugt hat, und rechnet sie in den Raum um, in dem das Sprachmodell seine Wort-Tokens erwartet. Danach sieht das Sprachmodell die Bildinformation wie zusätzliche Tokens in seiner Eingabe. Liu et al.

Das kleinste Teil mit der größten Hebelwirkung

Bemerkenswert ist, wie einfach dieser Teil sein kann: In der Arbeit, die den Ansatz bekannt gemacht hat, genügte eine lineare Abbildung. Bildencoder und Sprachmodell bleiben dabei eingefroren, trainiert wird nur die Verbindung. Das macht den Bau eines multimodalen Modells erheblich billiger, als beides gemeinsam zu trainieren. Radford et al.

Spätere Varianten verwenden kleine Netze statt einer linearen Abbildung oder verdichten die Zahl der Bildtokens, um Kontext zu sparen.

So kannst du dir das vorstellen

Ein Adapter zwischen zwei Geräten, die verschiedene Stecker haben. Das kleinste Teil im Aufbau, ohne das nichts funktioniert. Das Bild erklärt die Rolle der Verbindungsschicht, es beschreibt keine konkrete Architektur.

Was es in der Praxis konkret bedeutet

Für Anwender ist das Wissen vor allem eine Erklärung: Wenn ein Modell Bilder grob versteht, aber Details verfehlt, liegt es oft an dieser Engstelle und an der Zahl der Bildtokens, die durch sie hindurchpassen. Wer eigene multimodale Modelle baut, findet hier den günstigsten Ansatzpunkt, weil nur diese Schicht trainiert werden muss.

Wo es verwechselt wird

Der Projektor erzeugt keine Bildbeschreibung in Worten, sondern eine Zahlendarstellung. Und er ist kein Teil des Bildencoders, sondern die Schicht dazwischen, die je nach Modell unterschiedlich aufwendig ausfällt.

Verwandte Begriffe

Vision-Language Model, Image Patch, Embedding, Modality, Fine-Tuning, Computer Vision.