Multimodalität und angrenzende generative KI
Vision-Language Model
Modell, das visuelle Informationen mit Sprache verbindet.
Ein Vision-Language Model verarbeitet Bild und Text gemeinsam. Der übliche Aufbau besteht aus drei Teilen: ein Bildencoder, der aus dem Bild eine Zahlendarstellung macht, eine Zwischenschicht, die diese Darstellung in den Raum des Sprachmodells überführt, und das Sprachmodell selbst, das daraus Text erzeugt. Liu et al.
Der Bildencoder kommt meist aus dem Vortraining mit Bildunterschriften
Die Encoder stammen typischerweise aus einem Verfahren, das Bilder und zugehörige Beschreibungen so trainiert, dass zusammengehörige Paare im Zahlenraum nahe beieinander liegen. Radford et al. Dadurch ist die Bilddarstellung bereits mit sprachlicher Bedeutung verknüpft, bevor das Sprachmodell sie sieht.
Diese Herkunft erklärt Stärken und Schwächen. Bildinhalte beschreiben gelingt gut, weil genau das trainiert wurde. Genaues Ablesen kleiner Schrift, Zählen vieler Objekte und räumliche Beziehungen sind schwächer, weil Bildunterschriften solche Details selten enthalten.
So kannst du dir das vorstellen
Jemand beschreibt dir am Telefon ein Bild, und du arbeitest mit dieser Beschreibung weiter. Was in der Beschreibung fehlt, existiert für dich nicht. Das Bild erklärt den Flaschenhals zwischen Bildencoder und Sprachmodell, es beschreibt keine konkrete Architektur.
Was es in der Praxis konkret bedeutet
Stelle Fragen zu Bildern konkret statt offen: Nach einem bestimmten Feld in einem Formular zu fragen, liefert bessere Ergebnisse als „was steht da". Erwarte bei Tabellen, Diagrammen und kleiner Schrift Fehler und prüfe kritische Werte nach. Und beachte die Auflösung: Viele Modelle verkleinern Bilder vor der Verarbeitung, wodurch Details verloren gehen, die du im Original noch siehst.
Wo es verwechselt wird
Ein solches Modell ist kein Texterkennungssystem, auch wenn es Text im Bild lesen kann. Für große Mengen Dokumente ist spezialisierte Texterkennung genauer und billiger. Und es erzeugt keine Bilder, sondern versteht sie.
Verwandte Begriffe
Modality, Image Patch, Multimodal Projector, OCR, MMMU-Pro, Computer Vision.