---
term: "Softmax"
slug: "softmax"
glossar_id: "G393"
variants: []
category: "generierung-sampling-und-ausgabeformate"
marker: "Technik"
short: "Umwandlung von Scores in eine normierte Wahrscheinlichkeitsverteilung."
sources:
  - label: "Holtzman et al.: The Curious Case of Neural Text Degeneration"
    url: "https://arxiv.org/abs/1904.09751"
  - label: "Meister et al.: Locally Typical Sampling"
    url: "https://arxiv.org/abs/2202.00666"
status: "entwurf"
updated: "2026-09-21"
---

Softmax ist die Rechenvorschrift, die aus den rohen Bewertungen eines Modells eine Wahrscheinlichkeitsverteilung macht. Jeder Wert wird exponentiert und anschließend durch die Summe aller exponentierten Werte geteilt, sodass am Ende alle Werte zwischen null und eins liegen und zusammen eins ergeben.

## Die Exponentialfunktion verstärkt Unterschiede

Der entscheidende Effekt ist die Spreizung: Kleine Vorsprünge in den Bewertungen werden zu deutlichen Unterschieden in den Wahrscheinlichkeiten. Deshalb hat das wahrscheinlichste Token oft einen erheblichen Anteil, während der lange Rest des Wortschatzes zusammen wenig Gewicht trägt.

An dieser Stelle greift auch die Temperatur ein, die die Verteilung vor der Umrechnung flacher oder steiler macht. Die Form dieser Verteilung ist der Ausgangspunkt für alle Auswahlverfahren, von der strikten Höchstwahl bis zu den Abschneideverfahren. [Holtzman et al.](https://arxiv.org/abs/1904.09751) Informationstheoretische Betrachtungen der Texterzeugung setzen ebenfalls hier an. [Meister et al.](https://arxiv.org/abs/2202.00666)

## So kannst du dir das vorstellen

Aus Punktzahlen wird eine Sitzverteilung. Wer knapp vorn liegt, bekommt überproportional viele Sitze, und die hinteren Plätze fallen kaum ins Gewicht. Das Bild erklärt die Spreizung, nicht die Formel.

## Was es in der Praxis bedeutet

Für Anwender ist Softmax vor allem der Grund dafür, warum Einstellungen wie Temperatur so stark wirken: Sie verändern die Verteilung an einer empfindlichen Stelle.

Beim Lesen von Wahrscheinlichkeiten gilt Vorsicht. Ein hoher Wert für ein Token ist ein Ausdruck der Modellsicherheit im Sinne der gelernten Verteilung, kein Maß für Wahrheit. Modelle sind in dieser Hinsicht oft überzeugter, als es die Trefferquote rechtfertigt.

## Wo es verwechselt wird

Softmax erzeugt keine Kalibrierung: Die Werte sind Wahrscheinlichkeiten im mathematischen Sinn, aber nicht zwingend zuverlässige Schätzungen der Richtigkeit. Und sie ist kein Auswahlverfahren, sondern die Vorstufe dazu.

## Verwandte Begriffe

**Logits**, **Logprobs**, **Temperature**, **Sampling**, **Top-p**.