Odległość Kullbacka-Leiblera
Z Wikipedii
Odległość Kullbacka-Leiblera (zwana też entropią względną) jest miarą stosowaną w statystyce i teorii informacji do określenia odległości między dwoma rozkładami prawdopodobieństwa p i q. W rzeczywistości nie jest to prawdziwa metryka, gdyż nie jest symetryczna.
Odległość Kullbacka-Leiblera dana jest wzorem:
,
dla rozkładów dyskretnych, oraz
,
dla rozkładów ciągłych
W powyższej definicji przyjmuje się, że p reprezentuje dane rzeczywiste, zaś q teoretyczny model.