---
term: "Modality"
slug: "modality"
glossar_id: "G609"
variants: []
category: "multimodalitaet-und-angrenzende-generative-ki"
marker: ""
short: "Datenart wie Text, Bild, Audio oder Video."
sources:
  - label: "Radford et al.: Learning Transferable Visual Models From Natural Language Supervision"
    url: "https://arxiv.org/abs/2103.00020"
  - label: "Dosovitskiy et al.: An Image is Worth 16x16 Words"
    url: "https://arxiv.org/abs/2010.11929"
status: "entwurf"
updated: "2026-09-21"
---

Eine Modalität ist eine Art von Daten: Text, Bild, Ton, Video. Ein multimodales Modell verarbeitet mehrere davon, und der Trick dabei ist, sie in dieselbe interne Darstellung zu überführen, sodass das Modell Beziehungen zwischen ihnen herstellen kann. [Radford et al.](https://arxiv.org/abs/2103.00020)

## Alles wird zu Tokens

Der gemeinsame Nenner ist die Zerlegung in Einheiten. Text wird in Wortbestandteile zerlegt, ein Bild in quadratische Kacheln, Ton in kurze Zeitabschnitte. Jede Einheit wird in einen Zahlenvektor überführt, und danach unterscheidet sich die Verarbeitung im Modell kaum noch nach Herkunft. [Dosovitskiy et al.](https://arxiv.org/abs/2010.11929)

Das erklärt, warum sich dieselbe Architektur für Bild, Text und Ton eignet, und auch, warum Kosten und Kontextverbrauch bei Bildern schnell steigen: Ein Bild belegt je nach Auflösung Hunderte bis Tausende Tokens.

## So kannst du dir das vorstellen

Verschiedene Sprachen werden in eine gemeinsame Zwischensprache übersetzt, in der dann gearbeitet wird. Was sich in der Zwischensprache nicht ausdrücken lässt, geht verloren. Das Bild erklärt den gemeinsamen Repräsentationsraum, es beschreibt keinen konkreten Ablauf.

## Was es in der Praxis konkret bedeutet

Rechne bei Bildern mit erheblichem Tokenverbrauch und prüfe, wie dein Anbieter Bilder in Tokens umrechnet, denn das bestimmt die Kosten. Für Dokumente lohnt der Vergleich zweier Wege: Bild an ein multimodales Modell geben, oder erst Text extrahieren und diesen schicken. Der zweite Weg ist oft billiger, verliert aber Layoutinformationen.

## Wo es verwechselt wird

Multimodal heißt nicht, dass ein Modell alle Modalitäten auch erzeugen kann. Viele verstehen Bilder und antworten ausschließlich in Text. Und die unterstützten Modalitäten sagen nichts über die Qualität in der jeweiligen Modalität.

## Verwandte Begriffe

**Vision-Language Model**, **Image Patch**, **Multimodal Projector**, **Token**, **OCR**, **Speech Recognition**.