情報源
出典: フリー百科事典『ウィキペディア(Wikipedia)』
情報源(じょうほうげん)には主に次の2つの意味がある。
- 情報の提供者、入手元、入手経路、発信源(ソース、英:information source)。参照:史料(英:historical source)、資料(英:source text)。
- 情報理論の概念。
ここでは後者の意味について解説する。
情報源(じょうほうげん)とはビット列(もしくはより一般になんらかのシンボル(アルファベット)の有限列)が、選ばれるもととなる空間の事。より厳密に言えば、シンボルの有限列全体の空間とその上の確率分布の組のこと。シンボルの有限列はその確率分布に従って選ばれる。
代表的な情報源として次のものがある:
無記憶情報源とは、各シンボルが統計的に独立に発生する情報源である。この種の情報源は、各シンボルの生起確率 P(s1),...,P(sn) が与えられることにより一意に定まる。この情報源のシンボルあたりの平均情報量のことをエントロピーという。エントロピーの最大値は、log2n シャノンであり、それは各シンボルの生起確率が等しいとき( ずつのとき)である。
m 重マルコフ情報源とは、各シンボルの生起確率がその直前に生じた m 個のシンボルに依存する、m 重マルコフ過程とみなせる情報源のことである。特に、m = 1 のとき、単純マルコフ情報源という。
エルゴード情報源とは、エルゴード性を満たす情報源のことである。