Zero-Shot CoT / Few-Shot CoT

Zero-Shot CoT fordert einen schrittweisen Lösungsweg an, ohne dafür gelöste Beispiele vorzuführen; Few-Shot CoT zeigt mehrere Aufgaben mit Zwischenschritten und Antworten als Muster. Kojima et al.: Zero-Shot Reasoners Wei et al.: Chain-of-Thought Prompting Die Unterscheidung betrifft die Demonstrationen im Prompt, nicht die Anzahl technischer Modellaufrufe. Kojima et al.: Zero-Shot Reasoners

Anweisung oder Demonstration

Die bekannte Zero-Shot-CoT-Arbeit verwendet einen allgemeinen Auslöser wie „Let's think step by step“. Kojima et al.: Zero-Shot Reasoners Das ursprüngliche Verfahren besteht aus zwei Phasen: Zunächst wird ein Lösungsweg erzeugt, anschließend wird daraus mit einer weiteren Eingabe die endgültige Antwort extrahiert. Kojima et al.: Zero-Shot Reasoners

„Zero-Shot“ bedeutet hier also nicht zwangsläufig „ein einziger Aufruf“. Kojima et al.: Zero-Shot Reasoners Gemeint ist, dass kein aufgabenspezifisches gelöstes Demonstrationsbeispiel mitgegeben wird. Kojima et al.: Zero-Shot Reasoners

Bei Few-Shot CoT enthalten die Beispiele dagegen jeweils Aufgabe, Lösungsweg und Ergebnis. Wei et al.: Chain-of-Thought Prompting Gewöhnliche Few-Shot-Beispiele mit bloßen Endantworten sind noch keine Demonstration von Chain of Thought. Wei et al.: Chain-of-Thought Prompting

So kannst du dir das vorstellen

Für eine hypothetische Bedarfsrechnung könnte die Zero-Shot-Fassung lauten: „Bestimme erst den Gesamtbedarf, ziehe dann den vorhandenen Bestand ab und nenne die offene Menge.“ Danach folgen die Angaben für den konkreten Fall.

Die Few-Shot-Fassung würde zusätzlich einige bereits gelöste Bedarfsfälle mit ihren Rechenschritten zeigen. Der neue, noch ungelöste Fall steht anschließend unter diesen Mustern.

Das sind selbst formulierte Beispiele zur Unterscheidung. Sie sind keine gemessene Empfehlung, welche Variante für ein bestimmtes Modell bessere Antworten liefert.

Beispiele müssen zur Aufgabe passen

Die Forschung beschreibt, dass Few-Shot-CoT-Ergebnisse von der Auswahl und Gestaltung der Beispiele abhängen können. Wei et al.: Chain-of-Thought Prompting Kojima et al.: Zero-Shot Reasoners Unpassende Aufgabentypen oder Antwortformate können die Übertragung erschweren. Kojima et al.: Zero-Shot Reasoners

Die Zero-Shot-Arbeit berichtet ebenfalls Fehler, etwa unnötiges Weiterführen eines bereits passenden Lösungswegs oder Schwierigkeiten bei der abschließenden Antwortauswahl. Kojima et al.: Zero-Shot Reasoners Weder ein Schlagwort im Prompt noch eine ausführliche Musterlösung ersetzt deshalb die Kontrolle der tatsächlichen Antwort.

Verwandte Begriffe

Zero-Shot Prompting, Few-Shot Prompting, Chain-of-Thought Prompting, In-Context Learning, Self-Consistency.