Top-k Sampling

Top-k Sampling beschränkt die Auswahl auf die k wahrscheinlichsten Tokens und zieht nur aus diesen. Alles andere wird verworfen, egal wie die Verteilung aussieht. Bekannt wurde das Verfahren durch Arbeiten zur Erzeugung längerer Texte. Fan et al.

Eine feste Zahl passt nicht zu jeder Stelle

Der Schwachpunkt ist die Starrheit. An manchen Stellen im Text ist nur eine Fortsetzung sinnvoll, dann holt ein großes k unpassende Kandidaten herein. An anderen Stellen sind viele Fortsetzungen gleich gut, dann schneidet ein kleines k zu früh ab.

Genau diese Beobachtung war der Anlass für Verfahren, die statt einer festen Anzahl einen Anteil der Wahrscheinlichkeitsmasse verwenden und sich damit an die jeweilige Verteilung anpassen. Holtzman et al.

So kannst du dir das vorstellen

Eine Jury darf immer genau fünf Kandidaten in die Endrunde nehmen, auch wenn nur zwei geeignet sind oder zwanzig gleich gut. Die feste Zahl passt selten zur Lage. Das Bild erklärt die Starrheit, es bewertet das Verfahren nicht grundsätzlich.

Was es in der Praxis bedeutet

In der Praxis wird dieses Verfahren heute meist zusammen mit oder anstelle von anteilsbasierten Verfahren angeboten, und viele Schnittstellen setzen es nicht mehr an erste Stelle. Wo es verfügbar ist, dient es als grober Schutz gegen abwegige Fortsetzungen.

Sinnvoll ist, nur eine Abschneideregel bewusst einzustellen und die andere neutral zu lassen. Zwei gleichzeitig aktive Regeln machen das Verhalten schwer nachvollziehbar.

Wo es verwechselt wird

Das k hat nichts mit der Trefferzahl in der Suche zu tun, auch wenn beides k heißt. Und ein höheres k macht Antworten nicht besser, sondern nur vielfältiger und riskanter.

Verwandte Begriffe

Top-p, Min-p Sampling, Sampling, Temperature, Typical Sampling.