정보 엔트로피

위키백과 ― 우리 모두의 백과사전.

정보 엔트로피(영어: information entropy)는 클로드 섀넌이 제안한 개념으로 신호나 사건에 있는 정보의 양을 엔트로피의 개념을 빌려 설명한 것이다.

[편집] 정의

섀넌은 이산 확률 사건 x의 엔트로피 값을

로 정의했다. 사건 x의 엔트로피는 x의 모든 가능한 결과값 i에 대해 i의 발생 확률 값과 그 확률의 역수의 로그 값의 곱의 합이 된다. 이 정의는 이산 사건 대신에 임의의 확률 분포에 대해 확장할 수 있다.

이 문서는 수학에 관한 토막글입니다. 서로의 지식을 모아 알차게 문서를 완성해 갑시다.