Gibbs-Sampling

aus Wikipedia, der freien Enzyklopädie

Du hast neue Nachrichten auf deiner Diskussionsseite.

Gibbs-Sampling ist ein Algorithmus, um eine Folge von Stichproben der gemeinsamen Wahrscheinlichkeitsverteilung zweier oder mehrerer Zufallsvariablen zu erzeugen. Das Ziel ist es dabei, die unbekannte gemeinsame Verteilung zu approximieren. Der Algorithmus ist aufgrund der Ähnlichkeit des Sampling-Verfahrens mit Methoden der statistischen Physik nach dem Physiker Josiah Willard Gibbs benannt. Entwickelt wurde er von S. Geman und D. Geman (siehe Literaturhinweis). Gibbs Sampling ist ein Spezialfall des Metropolis-Hastings-Algorithmus, der wiederum zur Klasse der Markov-Chain-Monte-Carlo Algorithmen gehört. Oft wird er auch schlicht der Gibbs Sampler genannt.

Gibbs-Sampling eignet sich besonders dann, wenn die gemeinsame Verteilung eines Zufallsvektors unbekannt, jedoch die bedingte Verteilung einer jeden Zufallsvariable bekannt ist. Das Grundprinzip besteht darin, in wiederholender Weise eine Variable auszuwählen und gemäß ihrer bedingten Verteilung einen Wert in Abhängigkeit der Werte der anderen Variablen zu erzeugen. Die Werte der anderen Variablen bleiben in diesem Iterationsschritt unverändert. Aus der entstehenden Folge von Stichprobenvektoren lässt sich eine Markow-Kette herleiten. Es kann gezeigt werden, dass die stationäre Verteilung dieser Markow-Kette gerade die gesuchte gemeinsame Verteilung des Zufallsvektors ist.

Ein besonders günstiger Anwendungsfall ergibt sich im Zusammenhang mit Bayesschen Netzen, insbesondere beim Schätzen der A-posteriori-Verteilung, da die übliche Repräsentation eines Bayesnetzes eine Menge von bedingten Verteilungen ist. Die Software BUGS aus Cambridge ist beispielsweise eine Anwendung des Gibbs-Sampling auf Bayessche Netzwerke.

[Bearbeiten] Siehe auch

[Bearbeiten] Literatur

S. Geman and D. Geman. "Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images". IEEE Transactions on Pattern Analysis and Machine Intelligence, 6:721-741, 1984.
C.P. Robert and G. Casella. "Monte Carlo Statistical Methods" (second edition). New York: Springer-Verlag, 2004.