Prompt Tuning

Prompt Tuning ist ein Trainingsverfahren, bei dem zusätzliche Promptparameter für eine Aufgabe gelernt werden, während das zugrunde liegende Sprachmodell eingefroren bleibt. Lester et al.: Prompt Tuning In der ursprünglichen Methode werden dafür trainierbare Zahlenvektoren vor die interne Darstellung der eigentlichen Eingabe gesetzt. Lester et al.: Prompt Tuning

Was wird verändert?

Die zusätzlichen Vektoren bilden den sogenannten Soft Prompt und besitzen eigene veränderbare Parameter. Lester et al.: Prompt Tuning Das Training passt diese Parameter anhand gewünschter Ausgaben an, nicht die ursprünglichen Gewichte des Basismodells. Lester et al.: Prompt Tuning

Dadurch kann dasselbe eingefrorene Modell mit unterschiedlichen gelernten Prompts für verschiedene Aufgaben verwendet werden. Lester et al.: Prompt Tuning Gespeichert werden jeweils die zusätzlichen aufgabenspezifischen Promptparameter statt einer vollständig neu angepassten Modellkopie. Lester et al.: Prompt Tuning

Das Verfahren gehört damit zur parameterarmen Modellanpassung, unterscheidet sich aber von reinem Text-Prompting ohne Trainingsschritte. Lester et al.: Prompt Tuning Der Name „Tuning“ sollte hier also nicht bloß als lockere Bezeichnung für besseres Formulieren gelesen werden.

So kannst du dir das vorstellen

Angenommen, ein hypothetisches Team verwendet dasselbe Basismodell für zwei klar abgegrenzte Aufgaben: Servicemeldungen kategorisieren und Produktmerkmale aus Beschreibungen herausarbeiten.

Für jede Aufgabe wird ein eigener Soft Prompt aus passenden Trainingsbeispielen gelernt. Beim späteren Bearbeiten einer Servicemeldung wird die erste gelernte Promptrepräsentation verwendet, bei einer Produktbeschreibung die zweite.

In der vereinfachten Vorstellung wechselt damit ein aufgabenspezifisches Vorschaltmodul, nicht das gesamte Basismodell. Welche Qualität tatsächlich erreicht wird, müsste für beide Aufgaben separat getestet werden.

Nähe zu anderen Anpassungsverfahren

In-Context Learning nutzt Anweisungen oder Beispiele im Kontext ohne solche zusätzlichen Parameterupdates. Brown et al.: Language Models are Few-Shot Learners Prompt Tuning ist dagegen tatsächliches Training, obwohl die ursprünglichen Modellgewichte dabei unverändert bleiben. Lester et al.: Prompt Tuning

Die ursprüngliche Arbeit grenzt außerdem Prompt Tuning am Modelleingang von Prefix Tuning ab, das zusätzliche gelernte Repräsentationen an mehreren Modellschichten einsetzt. Lester et al.: Prompt Tuning Ähnliche Namen bedeuten deshalb nicht automatisch dieselbe technische Umsetzung.

Leistungsbefunde der Arbeit beziehen sich auf untersuchte Modelle und Aufgaben. Lester et al.: Prompt Tuning Daraus sollte keine pauschale Zusage abgeleitet werden, dass ein kleiner gelernter Prompt jede vollständige Modellanpassung gleichwertig ersetzt.

Verwandte Begriffe

Soft Prompt, PEFT, Fine-Tuning, In-Context Learning, Modellgewichte.