Teoria informacji

Z Wikipedii

Masz nowe wiadomości (różnica z poprzednią wersją).

Teoria informacji - dział matematyki na pograniczu statystyki i informatyki, mający również olbrzymie znaczenie w współczesnej telekomunikacji, dotyczący przetwarzania informacji oraz jej transmisji, kompresji, kryptografii itd.

Za ojca teorii informacji uważa się Claude'a E. Shannona, który prawdopodobnie po raz pierwszy użył tego terminu w 1945 roku, w swojej pracy zatytułowanej "A Mathematical Theory of Cryptography". Natomiast w 1948 roku, w kolejnej pracy pt. "A Mathematical Theory of Communication" przedstawił najważniejsze zagadnienia związane z tą dziedziną nauki. Shannon stworzył podstawy ilościowej teorii informacji, dlatego późniejsi autorzy próbowali stworzyć teorie wyjaśniające wartość (cenność) informacji. W Polsce Marian Mazur stworzył oryginalną teorię opisującą zarówno ilość jak i jakość informacji. Opisał ją m.in. w wydanej w 1970 roku książce Jakościowa teoria informacji. Wprowadził w niej rozróżnienie między informacjami opisującymi a informacjami identyfikującymi i wykazał, że tylko liczba informacji identyfikujących jest tym samym co ilość informacji wyrażona wzorem Claude E. Shannona - wbrew panującemu dotychczas przeświadczeniu, że odnosi się on do wszelkich informacji.

Ważne pojęcia teorii informacji:

bit: najmniejsza jednostka informacji potrzebna do zakodowania, które z dwóch możliwych zdarzeń zaszło.

Zobacz wyższe jednostki informacji.

entropia: najmniejsza średnia ilość informacji potrzebna do zakodowania faktu zajścia zdarzenia ze zbioru zdarzeń o danych prawdopodobieństwach.

Wzór na entropię to:

$H(x)=-\sum_{i=1}^np(i)\log_2 p(i)\,\!$

gdzie p(i) to prawdopodobieństwo zajścia zdarzenia i.

Pojęcie entropii w termodynamice jest do pewnego stopnia związane z pojęciem entropii w teorii informacji.

[edytuj] Model statystyczny rzędu N

Jest to model rozkładu prawdopodobieństwa, w którym pod uwagę bierze się N poprzednich znaków:

model rzędu 0 oznacza, że nie bierze się pod uwagę poprzednich znaków
model rzędu 1 oznacza, że bierze się pod uwagę jeden poprzedni znak
model rzędu 2 oznacza, że bierze się pod uwagę dwa poprzednie znaki
model nieskończonego rzędu oznacza, że bierze się pod uwagę wszystkie poprzednie znaki.