Generierung, Sampling und Ausgabeformate
Typical Sampling
Auswahl anhand der lokalen informationstheoretischen Typizität von Tokens.
Typical Sampling wählt Tokens nicht nach höchster Wahrscheinlichkeit, sondern nach Nähe zum erwarteten Informationsgehalt an dieser Stelle. Ausgeschlossen werden damit sowohl die übererwartbaren als auch die überraschend unwahrscheinlichen Fortsetzungen. Meister et al.
Menschlicher Text liegt in der Mitte
Die Begründung ist informationstheoretisch. Sprache, die Menschen erzeugen, bewegt sich in einem mittleren Bereich: Sie ist weder durchgehend vorhersagbar noch ständig überraschend. Wer immer das Wahrscheinlichste wählt, erzeugt Text unterhalb dieses Bereichs, was zu der bekannten Blässe führt. Holtzman et al.
Das Verfahren schneidet deshalb nicht am unwahrscheinlichen Rand ab, sondern um einen Zielwert herum, und unterscheidet sich darin von den anderen Abschneideregeln.
So kannst du dir das vorstellen
Ein Gesprächspartner, der weder nur Floskeln sagt noch ständig verblüffende Sprünge macht. Beides wäre anstrengend, das Mittlere trägt ein Gespräch. Das Bild erklärt die Zielrichtung, nicht die Berechnung des Informationsgehalts.
Was es in der Praxis bedeutet
Die Einstellung ist vor allem in lokal betriebenen Modellen und in Forschungsumgebungen verfügbar. In Anbieterschnittstellen fehlt sie meist, weshalb der Begriff im Alltag seltener vorkommt als Temperatur oder anteilsbasierte Abschneidung.
Wo sie verfügbar ist, lohnt ein Versuch bei erzählenden oder erklärenden Texten, weil dort der Unterschied zwischen wahrscheinlich und angemessen am größten ist.
Wo es verwechselt wird
Typisch heißt hier nicht häufig, sondern nahe am erwarteten Informationsgehalt. Und das Verfahren ist keine Verbesserung der Richtigkeit, sondern eine andere Auswahlregel.