Automated Prompt Optimization

Automated Prompt Optimization bezeichnet die automatisierte Überarbeitung und Bewertung von Prompts anhand definierter Ziele oder Rückmeldungen. OpenAI: Promptoptimierung Ein entsprechender Ablauf kann neue Promptfassungen erzeugen, ihre Ausgaben testen und die Ergebnisse für weitere Verbesserungen verwenden. OpenAI: Promptoptimierung

Ein überprüfbarer Verbesserungszyklus

Ausgangspunkt sind ein vorhandener Prompt, geeignete Aufgabenbeispiele und Kriterien für die Bewertung der Antworten. OpenAI: Promptoptimierung Als Feedback können menschliche Urteile, konkrete Fehlerbeschreibungen oder Ergebnisse automatischer Prüfer dienen. OpenAI: Promptoptimierung

Im dokumentierten Ablauf werden Antworten erzeugt, bewertet und anschließend zur Überarbeitung des Prompts genutzt. OpenAI: Promptoptimierung Dieser Zyklus kann mit der neuen Fassung wiederholt werden. OpenAI: Promptoptimierung

Meta-Prompting kann dabei die Erstellung oder Überarbeitung der Prompttexte übernehmen. OpenAI: Meta-Prompting Der zusätzliche Schwerpunkt einer bewertungsbasierten Optimierung liegt darin, die neue Fassung nicht nur zu formulieren, sondern ihre Ergebnisse gegen die gewünschten Eigenschaften zu prüfen. OpenAI: Promptoptimierung

So kannst du dir das vorstellen

Ein hypothetischer Assistent soll Angaben aus Lieferantenmails in feste Felder übertragen. Beim Test fällt auf, dass er fehlende Liefertermine gelegentlich aus dem Textzusammenhang ergänzt, obwohl sie nicht ausdrücklich genannt sind.

Die Rückmeldung lautet daher nicht nur „schlechte Antwort“, sondern: „Der Termin fehlt im Original und muss als unbekannt ausgegeben werden.“ Eine überarbeitete Promptfassung könnte diese Regel klarer machen und an weiteren Fällen getestet werden.

Für einen belastbaren Vergleich würde ich auch unbekannte Fälle vorsehen, die nicht schon zur Überarbeitung verwendet wurden. So würde nicht allein beurteilt, ob die bekannten Problembeispiele inzwischen passen.

Der Maßstab entscheidet

Die Wirksamkeit der Optimierung hängt dabei an der Qualität der eingesetzten Prüfer. OpenAI: Promptoptimierung Ein optimierter Prompt kann bei bestimmten Eingaben außerdem schlechter als die Ausgangsfassung abschneiden. OpenAI: Promptoptimierung

„Optimiert“ sollte deshalb immer als „nach bestimmten Kriterien und Tests überarbeitet“ gelesen werden. Die Dokumentation empfiehlt ausdrücklich, neue Fassungen vor einem produktiven Einsatz auszuwerten und manuell zu prüfen. OpenAI: Promptoptimierung

Verwandte Begriffe

Meta-Prompting, Prompt Engineering, Instruction Following, Verifier, Prompt Tuning.