Divergence de Kullback-Leibler
Un article de Wikipédia, l'encyclopédie libre.
En théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler est une mesure de dissimilarité entre une "vraie" distribution de probabilités P et une distribution Q arbitraire. Typiquement, P représente les données, observations, ou une distribution de probabilités calculé avec précision. La distribution Q représente typiquement une théorie, un modèle, une description ou une approximation de P.
Cette mesure peut être interprétée comme la quantité d'information qui doit être communiquée pour transmettre un codage d'une distribution approchée Q, par rapport au codage de la vraie distribution P.
Pour des distributions P et Q de variables aléatoires discrètes, la divergence K-L de Q à P est :
Pour des distributions P et Q d'une variable aléatoire continue :
où p et q dénotent les densités de P et Q.
