Grundbegriffe und Modelltypen
Multimodal Model
Heißt auch Multimodales Modell oder Multimodale KI.
Modell für mehrere Datenmodalitäten, beispielsweise Text und Bilder.
Ein multimodales Modell verarbeitet mehr als eine Art von Daten, beispielsweise Text und Bilder oder Sprache und Video. (Google) Diese Datenarten heißen Modalitäten; die Vielfalt kann die Eingabe, die Ausgabe oder beide Seiten betreffen. (Google)
So kannst du dir das vorstellen
Du möchtest ein Problem an einer Maschine erklären. Statt nur zu schreiben „Da ist ein rotes Licht“, fotografierst du das Bedienfeld und ergänzt: „Diese Anzeige erscheint seit dem letzten Neustart.“
Foto und Text tragen unterschiedliche Informationen bei. Das Foto zeigt den sichtbaren Zustand, der Satz beschreibt den zeitlichen Zusammenhang. In einem passenden multimodalen System könnten beide Eingaben gemeinsam für eine Antwort verwendet werden.
Das Beispiel soll die Verbindung der Datenarten zeigen. Ob eine konkrete Maschine sicher diagnostiziert werden kann, wäre eine zusätzliche fachliche Frage und müsste unabhängig geprüft werden.
Eingabe und Ausgabe getrennt betrachten
Ein Modell kann Text und Bilder als Eingabe verarbeiten und trotzdem ausschließlich Text ausgeben. (Google) „Multimodal“ verspricht also nicht automatisch, dass jede denkbare Datenart in jeder Richtung unterstützt wird.
Schreibe für eine Auswahl die benötigten Fähigkeiten konkret auf: Fotos entgegennehmen, Audio verarbeiten oder ganze Videos auswerten? Lege ebenso fest, welche Ausgabe gebraucht wird, etwa eine Textantwort oder ein neu erzeugtes Bild.
Diese Fragen sind hilfreicher als ein einzelnes Häkchen bei „multimodal“. Sie passen außerdem direkt zu einem späteren Testplan.
Ein Arbeitsbeispiel
Für eine Schulung könntest du eine einfache, selbst erstellte Grafik hochladen und um eine Beschreibung bitten. Danach vergleichst du die Ausgabe mit dem Bild: Werden die Beschriftungen richtig erkannt? Stimmen die Beziehungen? Welche Details bleiben unklar?
Ein zweiter Durchlauf mit einer schlechter lesbaren Version könnte zeigen, wo du im vorgesehenen Ablauf Qualitätsanforderungen an die Eingabe setzen möchtest. Das wäre ein Testvorschlag, keine pauschale Aussage über alle multimodalen Modelle.
Verwandte Begriffe
Vision-Language Model, Vision-Language-Action Model, OCR, Modalität, Generative KI und Embedding vertiefen einzelne Kombinationen. Für Fotos und Text ist das Vision-Language Model der direkteste Anschluss.