Informationstheorie
aus Wikipedia, der freien Enzyklopädie
Die Informationstheorie ist eine mathematische Theorie aus dem Bereich der Wahrscheinlichkeitstheorie und Statistik, die auf Claude Shannon zurückgeht.
Sie beschäftigt sich mit Begriffen wie Information, Entropie, Informationsübertragung, Datenkompression, Kodierung und verwandten Themen.
Neben der Mathematik, Informatik und Nachrichtentechnik wird die theoretische Betrachtung von Kommunikation durch die Informationstheorie auch zur Beschreibung von Kommunikationssystemen in anderen Bereichen (Medien in der Publizistik, Nervensystem in der Neurologie, DNA und Proteinsequenzen in der Molekularbiologie, Wissen in der Informationswissenschaft und Dokumentation) etc. eingesetzt.
Die Shannonsche Theorie verwendet den Begriff der Entropie, um die Informationsdichte von Nachrichten zu charakterisieren. Je ungleichförmiger eine Nachricht aufgebaut ist, desto höher ist ihre Entropie.
Sie beschreibt, dass die größtmögliche Informationsrate gleich die Bandbreite mal Logarithmus von eins plus Signalstärke geteilt durch Hintergrundgeräusch ist. Dies kann in folgender Formel dargestellt werden:
Inhaltsverzeichnis |
[Bearbeiten] Geschichte
Vor allem Claude Elwood Shannon lieferte in den 1940er bis 1950er Jahren wesentliche Beiträge zur Theorie der Datenübertragung und der Wahrscheinlichkeitstheorie.
Er fragte sich, wie man eine verlustfreie Datenübertragung über elektronische (heute auch optische) Kanäle sicherstellen kann. Dabei geht es insbesondere darum, die Datensignale vom Hintergrundrauschen zu trennen. Außerdem versucht man, während der Übertragung aufgetretene Fehler zu erkennen und zu korrigieren. Dazu ist es notwendig, redundante (d.h. überflüssige) Daten mitzusenden, um dem Datenempfänger eine Datenverifikation oder Datenkorrektur zu ermöglichen.
Shannon selbst bezeichnet sein Werk als eine „mathematische Theorie der Kommunikation“. Er schließt semantische Aspekte der Information, also Aussagen über den „Inhalt“ übertragener Nachrichten ausdrücklich aus. Dies bedeutet, dass eine „sinnvolle“ Botschaft ebenso gewissenhaft übertragen wird wie eine zufällige Folge von Buchstaben. Obwohl die Shannon-Theorie üblicherweise als „Informationstheorie“ bezeichnet wird, macht sie also keine direkte Aussage über den Informationsgehalt von übertragenen Botschaften.
Klassische Informationskonzepte versagen teilweise in quantenmechanischen Systemen. Dies führt zum Konzept der Quanteninformation.
Die Informationstheorie stellt mathematische Methoden zur Messung bestimmter Eigenschaften von Daten zur Verfügung.
Es sei darauf hingewiesen, dass der Begriff der Information aus der Informationstheorie keinen direkten Bezug zu Semantik, Bedeutung und Wissen hat, da sich diese Eigenschaften mit informationstheoretischen Verfahren nicht messen lassen.
In neuerer Zeit wird zunehmend versucht, die Komplexität einer Nachricht nicht mehr nur über statistische Betrachtung der Daten zu bestimmen, sondern vielmehr die Algorithmen zu betrachten, die diese Daten erzeugen können. Solche Ansätze sind insbesondere die Kolmogorow-Komplexität und die algorithmische Tiefe, sowie die algorithmische Informationstheorie von Gregory Chaitin.
[Bearbeiten] Literatur
- Claude E. Shannon: A mathematical theory of communication. Bell System Tech. J., 27:379-423, 623-656, 1948. (Shannons bahnbrechende Veröffentlichung)
- Holger Lyre: Informationstheorie - Eine philosophisch naturwissenschaftliche Einführung, UTB 2289;
- Eine verständliche Einführung (auf Englisch) zur speziellen nachrichtentechnischen Informationstheorie gibt es im Netz von einem Biologen T. D. Schneider http://www.lecb.ncifcrf.gov/~toms/paper/primer/
- Deutsche Skripte zur Informationstheorie (MicroSoft-Word-Dokumente), welche allerdings sehr knapp gehalten sind.
- John R. Pierce: An Introduction to Information Theory: Symbols, Signals and Noise; Dover Publications, Inc., New York, second edition, 1980.
- W. Sacco, W. Copes, C. Sloyer und R. Stark: Information Theory: Saving Bits; Janson Publications, Inc., Dedham, MA, 1988.
- N. J. A. Sloane und A. D. Wyner: Claude Elwood Shannon: Collected Papers; IEEE Press, Piscataway, NJ, 1993.
- Solomon Kullback: Information Theory and Statistics (Dover Books on Mathematics), 1968;
- Alexander I. Khinchin: Mathematical Foundations of Information Theory;
- Fazlollah M. Reza: An Introduction to Information Theory, 1961;
- Robert B. Ash: Information Theory, 1965;
- Thomas M. Cover, Joy A. Thomas: Elements of Information Theory (Wiley Series in Telecommunication), 1991;
- Christoph Arndt: Information Measures, Information and its Description in Science and Engineering (Springer Series: Signals and Communication Technology), 2004, ISBN: 978-3-540-40855-0, [1];
- Michael Kary, Martin Mahner: Warum Shannons „Informationstheorie“ keine Informationstheorie ist. Naturwissenschaftliche Rundschau 57(11), S. 609 - 616 (2004), ISSN 0028-1050
- Friedhelm Greis: Fehl-Information. Korrekturen an einem Begriff. Philosophie im Kontext. Bd. 12. Gardez-Verlag, Remscheid 2006, ISBN 3-89796-171-7
[Bearbeiten] Siehe auch
- Codierungstheorie
- Informationsgehalt
- Informationsübertragung (Physik)
- Entropie (Informationstheorie)
- Kommunikation (Informationstheorie)
- Kanalkapazität
- Entropiekodierung
