Generierung, Sampling und Ausgabeformate
Logprobs
Heißt auch Log Probabilities.
Logarithmierte Wahrscheinlichkeiten von Tokens.
Logprobs sind die logarithmierten Wahrscheinlichkeiten von Tokens. Statt 0,03 steht dann etwa minus 3,5. Der Logarithmus wird benutzt, weil sich Wahrscheinlichkeiten einer langen Folge multiplizieren, und eine Summe von Logarithmen ist rechnerisch stabiler als ein Produkt sehr kleiner Zahlen. Genau so wird auch Perplexität berechnet. Hugging Face
Ein Blick auf die Modellsicherheit
Manche Schnittstellen geben zu jedem erzeugten Token dessen Wert und teils die nächstbesten Alternativen aus. Das erlaubt Auswertungen: Wo war das Modell eindeutig, wo hat es zwischen mehreren Möglichkeiten geschwankt?
Nützlich ist das etwa beim Klassifizieren. Statt den Text der Antwort zu lesen, vergleicht man die Werte der in Frage kommenden Antworttokens. Zu beachten ist dabei die bekannte Beobachtung, dass hohe Wahrscheinlichkeit nicht gleich guter Text ist. Holtzman et al.
So kannst du dir das vorstellen
Beim Vorlesen merkt man, ob jemand ein Wort sicher liest oder kurz zögert. Das Zögern sagt etwas über die Geläufigkeit, nicht über die Richtigkeit des Inhalts. Das Bild erklärt, was diese Werte anzeigen und was nicht.
Was es in der Praxis bedeutet
Als Gütemaß taugen diese Werte nur bedingt. Modelle sind oft selbstsicher, auch wenn sie falsch liegen, und ein hoher Wert ist deshalb kein Beleg. Brauchbar sind sie dagegen als relatives Signal: Schwankt das Modell bei bestimmten Eingaben regelmäßig, lohnt sich ein Blick auf diese Fälle.
Praktisch einsetzbar sind sie für Klassifikation, für einfache Filterregeln und für die Auswahl unter mehreren erzeugten Varianten.
Wo es verwechselt wird
Logprobs sind kein Vertrauensmaß im Sinne von Richtigkeit und zwischen Modellen nicht vergleichbar. Und sie beziehen sich auf einzelne Tokens, nicht auf ganze Aussagen.