情報量

出典: フリー百科事典『ウィキペディア（Wikipedia）』

この項目では情報量(エントロピー)の概念の情報理論的側面について説明しています。熱力学的側面についてはエントロピーをご覧ください。

情報量（じょうほうりょう、エントロピーとも）は、情報理論の概念で、ある出来事（事象）が起こった際、その出来事がどれほど起こりにくいかを表す尺度である。頻繁に起こるありきたりの出来事(たとえば「犬が人を噛む」)が起こった事を知ってもそれはたいした「情報」にはならないが、逆に滅多に起こらない出来事(たとえば「人が犬を噛む」)が起これば、それはより多くの「情報」を含んでいると考えられる。よって情報量はその出来事がどれだけの情報を持っているかの尺度であるともみなす事ができる。

なおここでいう「情報」とは、あくまでその出来事の起こりにくさ(確率)のみによって決まる純粋に数学的な量の事で、それが個人・社会にとってどれだけ有意義のあるものであるかとは無関係である。たとえば「自分が宝くじに当たった」という事象と「見知らぬAさんが宝くじに当たった」という事象は、前者の方が有意義な情報であるように見えるが、両者の情報量は全く同じである。(宝くじが当たる確率は誰でも同じであるから)。

1 選択情報量(自己エントロピー)と平均情報量（エントロピー）
2 選択情報量
- 2.1 直観的意味
- 2.2 情報の加法性
3 平均情報量（エントロピー）
- 3.1 エントロピーの基本的性質
- 3.2 コイン投げの例
4 連続系のエントロピー
5 Renyiエントロピー
6 歴史
7 単位
8 脚注
9 関連項目

[編集] 選択情報量(自己エントロピー)と平均情報量（エントロピー）

各々の出来事の情報量のみならず、それらの出来事の情報量の平均値をも情報量と呼ぶ。両者を区別する場合には、前者を選択情報量(自己エントロピーとも)、後者を平均情報量（エントロピーとも)と呼ぶ。

[編集] 選択情報量

事象 $E$ が起こる確率を $P (E)$ とするとき、事象 $E$ が起こったことを知らされたとき受け取る(選択)情報量 $I (E)$ を

$I(E)=\log \frac{1}{P(E)}=-\log P(E)$

と定義する。

起こりにくい事象(＝生起確率が低い事象)の情報量ほど、値が大きい事に注意されたい。

上式中の対数( $log$ )の底として何を選んでも、情報量の値が定数倍変わるだけなので、本質的な差はないものの、底としては2を選ぶことが多い。

底が2の場合、確率を $1 / 2 n$ で起こる事象の情報量は $n$ である。

[編集] 直観的意味

整数 $u$ に対し、 $u$ の対数 $log m u$ は $m$ 進法での $u$ の桁数を表していた。よって確率 $1 / u$ で起こる事象の情報量は $u$ の桁数を表す。

[編集] 情報の加法性

AとBが独立な事象のとき、「AもBも起こる」という事象の情報量は、Aの情報量とBの情報量の和である。

情報の加法性を例を出して説明する。例えば52枚のトランプから無作為に1枚を取り出すという試行を考える。「取り出したカードはハートの4である」という情報は、前述の定義からlog52 であると分かる。ここで、「取り出したカードのスートはハートである」という情報と「取り出したカードの数字は4である」という情報の二つを考えることにすると、前者の情報量はlog4、後者はlog13 である。この両者の和はlog4 + log13 = log(4×13) = log52 となり、「取り出したカードはハートの4である」の情報量と等しい。これは直感的要請に合致する。

[編集] 平均情報量（エントロピー）

$Ω$ を、台が有限集合である確率空間とする。 $Ω$ 上の確率分布 Pが与えられたとき、各事象 $A\in\Omega$ の選択情報量 $- log P (A)$ の平均値

$H(P) = - \sum_{A\in\Omega} P(A) \log P(A)$

をPのエントロピーと呼ぶ。(平均情報量、シャノン情報量、情報論のエントロピーとも)。

ただしここでP(A)=0のときは、 $P (A)log P (A) = 0$ とみなす。これは $\lim_{p\to+0}p \log p=0$ である事による。

また有限集合Uに値を取る確率変数Xが確率分布Pに従う場合には、 XのエントロピーをH(X)=H(P)にによって定める。すなわち、

$H(X) = - \sum_{x\in U} \Pr(X=x) \log \Pr(X=x)$ 。

エントロピーは常に非負の値(または無限大)を取る。

値x、yがそれぞれ確率変数X、Yに従う場合には、組 $(x, y)$ も確率変数とみなせる。この確率変数を $(X, Y)$ と書くことにすると、確率変数を $(X, Y)$ のエントロピーは p:: $H(X,Y) = - \sum_{x,y} \Pr(X=x,Y=y) \log \Pr(X=x,Y=y)$ になる。

$X, Y$ が互いに独立な確率変数である場合には、 $H (X, Y)$ は $H (X) + H (Y)$ に一致する。すなわち、全体の情報量 $H (X, Y)$ は各々の確率変数の情報量の和である。

しかし、XとYが互いに独立ではない場合は、 $H (X, Y)$ と $H (X) + H (Y)$ は一致せず、前者より後者の方が大きい値になる。両者の情報量の差を相互情報量と呼び、

I (X, Y) = H (X) + H (Y) - H (X, Y)

で表す。相互情報量は常に非負の値を取る。

事象Bが生じているという条件下における事象Aの条件付き情報量を $-\log\Pr(A|B)$ によって定める。確率変数Xが与えられたとき、事象「 $X = a$ 」の条件付き情報量 $\Pr(X=a|B)$ のaに関する平均値を条件付きエントロピーといい、

$H(X|B) = - \sum_{x}\Pr(X=x|B) \log \Pr(X=x|B)$

で表す。

さらに確率変数Yが与えられたとき、条件付きエントロピー $H (X | Y = b)$ のbに関する平均値

H(X \| Y) = −	∑	H(X \| Y = y)logH(X \| Y = y)
	y

もやはり条件付きエントロピーと呼ぶ。

[編集] エントロピーの基本的性質

情報量は確率のみによって決まる。
情報量は非負の値または無限大を取る。
nビットのビット列の空間(情報源)から(一様ランダムとは限らない方法で)ランダムにビット列を選んだときのエントロピーはn以下。エントロピーがnになる必要十分条件はビット列が一様ランダムに選ばれる事。
確率変数XとYが独立である必要十分条件は $H (X) + H (Y) = H (X, Y)$ が成立する事。

[編集] コイン投げの例

あるコインを投げたときに表が出る確率を $p$ 、裏が出る確率を $1 - p$ とする。このコインを投げたときに得られる平均情報量（エントロピー）は、

$\left. H(X)= - p \log{p} - (1-p)\log{(1-p)} \right.$

である。　

この為、関数 $f (p) = - p log p - (1 - p)log(1 - p)$ をエントロピー関数と呼ぶ。

図を見ると分かるように、 $p = 0$ と $p = 1$ では $H$ はゼロである。つまり、コインを投げる前から裏または表が出ることが確実に分かっているときに得られる平均情報量は、ゼロである。 $H$ が最大になるのは $p = 1 / 2$ のときであり、一般にすべての事象（できごと）が等確率になるときにエントロピーが最大になる。

[編集] 連続系のエントロピー

実数値を取る確率変数Xの確率密度関数をp(x)とするとき、Xのエントロピーを

$h(X) = - \int_{-\infty}^{\infty}p(x)\log p(x) dx$

により定義する。

Xが有限集合に値を取る確率変数である場合には、Xのシャノン情報量 $H (X)$ も定義できる。 Xがn通りの値を取るとき、 $H (X)$ と $h (X)$ は、

$h (X) = H (U n) - H (X)$ を満たす。

ただしここで $U n$ はn元集合上の一様分布。(すなわち $H (U n) = log n$ )。

[編集] Renyiエントロピー

$Ω$ を、台が有限集合である確率空間とする。 Pを $Ω$ 上の確率分布とし、 $α$ を非負の実数とする。

$\alpha\neq 1$ のとき、Pのdegee $α$ のRenyiエントロピーを

$H_{\alpha}(P)= \frac{\log\sum_{A\in\Omega}P(A)^{\alpha}}{1-\alpha}$

により定義する。また、 $\alpha=1,\infty$ の場合には、Renyiエントロピーを

$\left\{ \begin{array}{lll} H_1(P) &= \lim_{\alpha\to 1}&H_{\alpha}(P)\\ H_{\infty}(P) &= \lim_{\alpha\to\infty}&H_{\alpha}(P) \end{array} \right.$ により定義する。

単にRenyiエントロピーと言った場合は $H 2 (P)$ を意味する事も多い。

さらに、確率変数Xが確率分布Pに従うとき、 $H α (X)$ を $H α (X) = H α (P)$ により定義する。

Renyiエントロピーは以下の性質を満たす：

$H_0(P)=\log\#\Omega$ が成立する。
$H 1 (P)$ はシャノン情報量 $H(P)=-\sum_{A\in\Omega}P(A)\log P(A)$ と一致する。
$α$ が2以上の整数の場合には、 $H_{\alpha}(P)=\frac{1}{1-\alpha}\log\Pr(X_1=\cdots=X_\alpha)$ が成立。ここで $X_1,\ldots,X_\alpha$ は確率分布 $P$ に従う独立同一分布で、 $\Pr(X_1=\cdots=X_\alpha)$ は $x_1,\ldots,x_\alpha$ をそれぞれ $X_1,\ldots,X_\alpha$ に従って選んだときに $x_1=\cdots=x_\alpha$ が成立する確率。
$H_{\infty}(P)=\min_{A\in\Omega}\{-\log P(A)\}$ が成立する。この為 $H_{\infty}(P)$ をminエントロピーともいう。

[編集] 歴史

「エントロピー」の概念は1865年にルドルフ・クラウジウスがギリシャ語の「変換」を意味する言葉を語源として、熱力学における気体のある状態量として導入した。これは統計力学では微視的な状態数の対数に比例する量として表される。 1929年にはレオ・シラードが、気体についての情報を観測者が獲得することと統計力学におけるエントロピーとの間に直接の関係があることを示し、現在 1 ビット (1 シャノン) と呼ぶ量が統計力学で k ln 2 に対応するという関係を導いていた^[1]。

現在の情報理論におけるエントロピーの直接の導入は1948年のクロード・シャノンによるもので、その著書『通信の数学的理論』でエントロピーの概念を情報理論に応用した。 ^[2]シャノン自身は統計力学でこの概念と関連する概念がすでに使われている事を知らずにこの定義に到達していたが、その名称をどうすべきかをフォン・ノイマンに相談し、フォン・ノイマンの提唱によってエントロピーと名付けられた。^[3]。

なお、シャノン以前にもラルフ・ハートレーが1928に、集合Aに対して $\log \# A$ という量を考察している。 $\log \# A$ はA上の一様分布のエントロピーに一致する。この為現在では、 $\log \# A$ をAのハートレー・エントロピーと呼ぶ。

[編集] 単位

情報量は本来無次元の量である。しかし、前述のように情報量は確率の逆数の桁数を表すものなので、情報量の単位として便宜的に桁数の単位を使うことが多い。すなわち、対数の底として2、e、10を選んだときの情報量の単位は、それぞれビット(bit)、ナット(nat)、ディット(dit)である。

また、今のところ主流ではないものの、1997年に日本工業規格 JIS X 0016:1997（同等の国際規格 ISO/IEC 2382-16:1996）は、上とは異なる単位を定めている。（ノートも参照）。

**対数の底と単位**
底	通常使っている単位	JISおよびISOが定めた単位	備考
2	ビット(bit)	シャノン (shannon)	lg
e=2.718…	ナット (nat)	ナット (nat)	ln, 自然対数
10	ディット(dit)	ハートレー (hartley)	log, 常用対数

単位「シャノン」、「ハートレー」の名称は、情報量の概念を提案したクロード・シャノン、ラルフ・ハートレーにちなむ。

[編集] 脚注

[ヘルプ]

^ Szilard, L. (1929) "Über die Entropieverminderung in einem Thermodynamischen System bei Eingriffen Intelligenter Wesen", Zeitschrift für Physik 53:840–856
^ H・J・モロウィッツ『ピザの熱力学』。
^ 韓太舜、小林欣吾『情報と符号の数理』

カテゴリ: 情報理論 | 数学に関する記事

情報量