Instruction Following

Instruction Following bezeichnet die Fähigkeit eines Modells, vorgegebene Anweisungen bei seiner Antwort umzusetzen. Zhou et al.: IFEval Dazu können beispielsweise Anforderungen an Sprache, Format, Länge oder bestimmte Bestandteile einer Ausgabe gehören. Zhou et al.: IFEval

Auftrag und Antwort abgleichen

Eine Antwort kann thematisch passend wirken und trotzdem konkrete Vorgaben verfehlen, etwa wenn ein vorgeschriebenes Ausgabeformat nicht eingehalten wird. Zhou et al.: IFEval Die IFEval-Forschungsarbeit konzentriert sich deshalb auf Anweisungen, deren Einhaltung mit nachvollziehbaren Programmen geprüft werden kann. Zhou et al.: IFEval

Dazu zählen beispielsweise Wortzahlbereiche, bestimmte Schlüsselwörter, eine vorgegebene Gliederung oder gültiges JSON, ein strukturiertes Datenformat. Zhou et al.: IFEval Eine solche Prüfung beantwortet zunächst, ob die jeweilige Anforderung eingehalten wurde. Zhou et al.: IFEval

Die Studie unterscheidet außerdem zwischen dem Erfüllen einzelner Anweisungen und dem Erfüllen sämtlicher geprüfter Anweisungen eines Prompts. Zhou et al.: IFEval Diese Unterscheidung ist wichtig, wenn eine Aufgabe mehrere Bedingungen gleichzeitig enthält.

So kannst du dir das vorstellen

Du gibst einem hypothetischen Assistenten diesen Auftrag:

Erstelle genau drei Stichpunkte auf Deutsch.
Jeder Stichpunkt soll eine offene Frage aus den Notizen nennen.
Füge keine Einleitung und keinen Schlusssatz hinzu.

Eine Antwort mit drei passenden Stichpunkten und zusätzlicher Einleitung wäre nur teilweise regelkonform. Eine Antwort mit drei deutschen Stichpunkten, die aber erfundene Fragen enthält, würde zwar einige Formvorgaben erfüllen, aber die inhaltliche Aufgabe verfehlen.

Für dieses Beispiel müsstest du deshalb sowohl die sichtbare Struktur als auch den Bezug zu den Originalnotizen prüfen. Das sind unterschiedliche Prüfungen, obwohl sie sich auf dieselbe Antwort beziehen.

Befolgung ist nicht die gesamte Qualität

IFEval erfasst überprüfbare Anweisungsbefolgung und ist keine umfassende Prüfung sachlicher Richtigkeit oder Sicherheit. Zhou et al.: IFEval Selbst die automatischen Prüfungen haben Grenzfälle, weshalb die Arbeit strengere und tolerantere Auswertungen gegenüberstellt. Zhou et al.: IFEval

Außerdem kann eine Anwendung Anweisungen unterschiedlicher Priorität enthalten, etwa Entwicklerregeln über einer Nutzernachricht. OpenAI: Prompt Engineering Verlässliche Befolgung bedeutet deshalb nicht automatisch, jede einzelne Nutzerforderung unabhängig von übergeordneten Vorgaben umzusetzen. OpenAI: Prompt Engineering

Verwandte Begriffe

Prompt Engineering, System Prompt, Alignment, RLVR, Verifier.