Multimodalität und angrenzende generative KI
Classifier-Free Guidance
Steuerung der Generierung hin zu vorgegebenen Bedingungen.
Classifier-Free Guidance ist der Regler, der bestimmt, wie streng ein Bildmodell der Textbeschreibung folgt. Technisch wird bei jedem Entrauschungsschritt zweimal gerechnet, einmal mit und einmal ohne Beschreibung, und die Differenz wird verstärkt in die Richtung der Beschreibung gelenkt. Ho und Salimans
Ein Regler zwischen Treue und Vielfalt
Der Vorgänger nutzte einen zusätzlichen Klassifikator, der während der Erzeugung bewertete, wie gut das entstehende Bild zur Vorgabe passt. Das Verfahren ohne Klassifikator kommt ohne dieses zweite Modell aus und ist deshalb in fast allen aktuellen Systemen eingebaut. Rombach et al.
Die Einstellung hat eine klare Wirkung. Niedrige Werte ergeben vielfältigere, aber ungenauere Bilder; hohe Werte halten sich enger an die Beschreibung und erzeugen überzeichnete Kontraste und Artefakte. Der brauchbare Bereich liegt in der Mitte und hängt vom Modell ab.
So kannst du dir das vorstellen
Ein Regieanweisung, die man flüstern oder schreien kann. Zu leise, und die Szene wird beliebig; zu laut, und alle spielen verkrampft. Das Bild erklärt die Dosierung, es nennt keine konkreten Werte.
Was es in der Praxis konkret bedeutet
Wenn ein Bild deine Beschreibung ignoriert, ist dieser Regler die erste Stellschraube, noch vor dem Umformulieren des Prompts. Sehen die Bilder dagegen überzeichnet und grell aus, ist der Wert zu hoch. Notiere die verwendete Einstellung zusammen mit Beschreibung und Startwert, sonst lässt sich ein gelungenes Ergebnis später nicht wiederholen.
Wo es verwechselt wird
Der Regler steuert die Treue zur Vorgabe, nicht die Qualität. Und er ist nicht dasselbe wie die Zahl der Entrauschungsschritte, die den Aufwand bestimmt.
Verwandte Begriffe
Text-to-Image, Video Generation, Generative Adversarial Network, Temperature, Seed, Modality.