Теория информации

Материал из Википедии — свободной энциклопедии

Теория информации - это ветвь теории вероятности и математической статистики, определяющая понятие информации.

Теория информации связана с информационной энтропией, коммуникационными системами , передачей данных и теорией скорости искажения, криптографией, сжатием данных, коррекцией ошибок и другими смежными областями.

Содержание 1 История 2 Отношение к термодинамической энтропии 3 Прогресс в изучении 4 Приложения 5 См. также 6 Библиография 7 Ссылки

[править] История

Клод Шэннон (1916—2001) называется «отцом теории информации»^{[Источник?]}. Его теория изначально понималась как строго математическая задача в статистике и дала инженерам средств передачи информации путь к определению ёмкости коммуникационного канала в терминах количества бит. Передающая часть теории не занимается значением (семантикой) передаваемого сообщения, однако дополняющая часть теории информации обращает внимание на содержимое через сжатие c потерями субъекта сообщения, используя критерий точности.

[править] Отношение к термодинамической энтропии

Информационная энтропия, как определено Шенноном и добавлено другими физиками близко, соотносится с понятием термодинамической энтропии. Это величина, обозначающая несокращаемое (несжимаемое) количество информации, содержимое в данной системе (обычно, — в принимаемом сигнале).

[править] Прогресс в изучении

В 1995, Тим Палмер сообщил, что два неописанных ранее предположения о Шенноновском определении информации делают их неприменимыми таким же образом к квантовой механике:

• Предположение что предмет существует в наблюдаемом состоянии (например верхняя грань игральной кости или монеты) перед тем, как наблюдение началось
• Факт, что знание этого состояния не зависит от порядка, в котором было совершено наблюдение (коммутативность)

[править] Приложения

• Теория информации широко используется в
  • Теории кодирования
  • Криптографии и Криптоанализе
  • Передаче данных
  • Сжатии данных
  • Теории обнаружения
  • Теории оценки

[править] См. также

• Алгоритмическая теория информации
• Теория обнаружения
• Теория оценки
• Информация Фишера
• Информационная геометрия
• Синергетика
• Важные публикации в теории информации(англ.)

[править] Библиография

• Claude E. Shannon, Warren Weaver. The Mathematical Theory of Communication. Univ of Illinois Press, 1963. ISBN 0252725484
• Thomas M. Cover, Joy A. Thomas. Elements of information theory New York: Wiley, 1991. ISBN 0471062596
• R. Landauer, Information is Physical Proc. Workshop on Physics and Computation PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4.
• Maxwell's Demon: Entropy, Information, Computing, H. S. Leff and A. F. Rex, Editors, Princeton University Press, Princeton, NJ (1990). ISBN 069108727X
• Колмогоров А.Н. Три подхода к определению понятия "Количество информации"

Четко сформулированы три способа определения количества информации: комбинаторный, вероятностный и алгоритмический. Новое в жизни, науке, технике. Сер. "Математика, кибернетика", N1, 1991, С.24-29. Перепечатка из "Проблемы передачи информации", N1, 1965, С.1-7.

• Потапов В.Н. Теория информации. Кодирование дискретных вероятностных источников

Хорошая методичка по кодированию источников. Уч. пособие / Новосибирский государственный университет. -- Новосибирск, 1999.

• Шульгин В.И. Основы теории передачи информации

Учебное пособие к курсу, читаемому в харьковском Национальном аэрокосмическом университете.. В первой части даются основные положения теории кодирования источников (с акцентом на обработку непрерывных сигналов). Кратко описаны методы сжатия произвольных данных, изображений, аудио и видео, в том числе: методы Хаффмана, Шеннона-Фано, Зива-Лемпела, арифметическое сжатие, DCT в JPEG, фрактальное сжатие, АДИКМ (ADPCM), некоторые вокодеры. Во второй части описаны некоторые схемы помехоустойчивого кодирования: линейные, циклические, сверточные, каскадные коды. Основы теории передачи информации. Ч. I. Экономное кодирование / В.И. Шульгин. - Учеб. пособие. – Харьков: Нац. аэрокосм. ун-т «Харьк. авиац. ин-т», 2003. - 102 с. Основы теории передачи информации. Ч. 2. Помехоустойчивое кодирование / В.И. Шульгин. - Учеб. пособие. – Харьков: Нац. аэрокосм. ун-т «Харьк. авиац. ин-т», 2003. - 87 с.

[править] Ссылки

• Теория информации (электронный учебник)
• Лидовский В.В. Учебное пособие по курсу "Теория информации" Учебное пособие по теории информации. Даются базовые понятия теории информации, рассматриваются ряд схем экономного и помехоустойчивого кодирований, излагаются основы криптографии. Описываются форматы текстовой информации, широко используемые в Интернет. Имеется большое количество упражнений с ответами на них. Уч. пособие / Российский государственный технологический университет им. К.Э. Циолковского. 2002.
• compression.ru
• SZTAKI Desktop Grid