Kreuzentropie
aus Wikipedia, der freien Enzyklopädie
Die Kreuzentropie ist in der Informationstheorie ein Maß für die Qualität eines Modells einer Wahrscheinlichkeitsverteilung.
Für eine Zufallsvariable X, die der Verteilung p folgt und eine zweite Verteilung q desselben Ereignishorizonts ist die Kreuzentropie folgendermaßen definiert:
- H(X,p,q) = H(X) + D(p | | q).
Hierbei bezeichnet H(X) die Entropie von X und D(p | | q) die Kullback-Leibler-Divergenz.
In der praktischen Anwendung ist q meist eine Annäherung an eine unbekannte Verteilung p. Zwar hat die Kreuzentropie eine ähnliche Aussagekraft wie die Kullback-Leibler-Divergenz. Die Kreuzentropie lässt jedoch unter bestimmten Umständen ohne p berechnen – bei unbekanntem p sehr vorteilhaft.
Eng verwandt mit der Kreuzentropie ist die Perplexität, die bei gleicher Aussagekraft u. U. anschaulichere Zahlenwerte liefert.
