Computer Vision

Computer Vision ist das Fachgebiet, das Maschinen das Auswerten von Bildern beibringt: Objekte erkennen, Bereiche abgrenzen, Bewegungen verfolgen, Text lesen. Es ist deutlich älter als die aktuelle KI-Welle und hatte schon vor Sprachmodellen breiten industriellen Einsatz. Dosovitskiy et al.

Zwei Umbrüche in kurzer Zeit

Der erste kam mit tiefen Faltungsnetzen, die handgebaute Merkmalsextraktion ablösten. Der zweite bestand darin, die Architektur aus der Sprachverarbeitung auf Bilder anzuwenden: Ein Bild wird in Kacheln zerlegt, die wie Wörter behandelt werden. Damit wurde dieselbe Architektur für beide Bereiche nutzbar.

Der dritte Schritt war das gemeinsame Training mit Bildunterschriften, wodurch Modelle Objekte erkennen können, für die sie keine eigenen Trainingsbeispiele gesehen haben. Radford et al. Klassische Verfahren brauchten für jede neue Kategorie eigene beschriftete Daten.

So kannst du dir das vorstellen

Zuerst gab es Spezialisten für jede Prüfaufgabe, jeder mit eigener Ausbildung. Dann kam ein Generalist, dem man in Worten sagen kann, wonach er suchen soll. Das Bild erklärt die Entwicklung, es bewertet keine Verfahren.

Was es in der Praxis konkret bedeutet

Für klar umrissene Aufgaben mit hohen Stückzahlen, etwa Qualitätsprüfung in der Fertigung, sind spezialisierte Modelle weiterhin genauer, schneller und billiger als ein großes multimodales Modell. Die neuen Modelle lohnen dort, wo Aufgaben wechseln, die Beschreibung in Worten möglich ist und keine Trainingsdaten vorliegen.

Wo es verwechselt wird

Bildverarbeitung ist nicht dasselbe wie Bilderzeugung. Und ein Sprachmodell mit Bildverständnis ersetzt keine spezialisierte Bildverarbeitung: Es ist flexibler, aber ungenauer bei festen Prüfaufgaben.

Verwandte Begriffe

Vision-Language Model, Image Patch, OCR, Modality, Text-to-Image, Deepfake.