Cross-Entropy

Cross-Entropy, auf Deutsch Kreuzentropie, ist eine Verlustfunktion für Vorhersagen über mögliche Klassen oder Ausgaben. (PyTorch CrossEntropyLoss) Bei einem einzelnen eindeutigen Ziel ohne Zusatzgewicht entspricht sie dem negativen Logarithmus der Wahrscheinlichkeit, die das Modell diesem Ziel zuweist. (PyTorch CrossEntropyLoss)

So kannst du dir das vorstellen

Ein Modell soll eine Anfrage den Kategorien „Rechnung“, „Lieferung“ oder „Reklamation“ zuordnen. Die richtige Kategorie sei im Beispiel „Rechnung“.

Wenn das Modell dafür eine hohe Wahrscheinlichkeit vergibt, fällt der Verlust niedrig aus; bei einer sehr kleinen Wahrscheinlichkeit für die richtige Kategorie wird er groß. Das folgt aus der Berechnung mit dem negativen Logarithmus. (PyTorch CrossEntropyLoss) Bewertet wird damit mehr als nur die Frage, welche Kategorie auf Platz eins steht.

Ein kleines Zahlenbeispiel

Für eine ungewichtete Einzelvorhersage mit eindeutigem Ziel lautet die vereinfachte Formel (L=-\ln(p)), wobei (p) die vorhergesagte Wahrscheinlichkeit des richtigen Ziels ist. (PyTorch CrossEntropyLoss) Mit frei gewählten Beispielwerten ergibt das:

• 80 Prozent: ungefähr 0,223 Verlust.
• 20 Prozent: ungefähr 1,609 Verlust.

Die Zahlen sind reine Rechenbeispiele, keine Benchmarkwerte. Bei mehreren Beispielen oder Zielpositionen muss zusätzlich festgelegt sein, wie Einzelverluste zusammengefasst werden.

Zielverteilung und Modellbewertung

Kreuzentropie kann auch mit einer Zielverteilung statt einer einzigen Zielklasse berechnet werden, etwa wenn mehrere Klassen unterschiedliche Zielwahrscheinlichkeiten erhalten. (PyTorch CrossEntropyLoss) Solche weichen Zielwerte werden unter anderem bei der klassischen Distillation verwendet. (Hinton et al.)

Ein kleiner Wert beschreibt die Übereinstimmung mit diesen Trainingszielen. Prüfe die fachliche Richtigkeit der Ziele und die spätere Aufgabenqualität deshalb zusätzlich, statt den Verlust als allgemeines Maß für Wahrheit oder Zuverlässigkeit zu lesen.

Verwandte Begriffe

Die Zusammenhänge erklären Loss, Logits, Softmax, Distillation und Perplexity.