Claude Shannon
Un article de Wikipédia, l'encyclopédie libre.
Claude Elwood Shannon (30 avril 1916 à Gaylord, Michigan - 24 février 2001), ingénieur électrique, est l'un des pères, si ce n'est le père fondateur, de la théorie de l'information.
Sommaire |
[modifier] Biographie
Il étudia le génie électrique et les mathématiques à l'Université du Michigan en 1932. Il utilisa notamment l'algèbre Booléenne pour sa maîtrise soutenue en 1938 au MIT. Il y expliqua comment construire des machines à relais en utilisant l'algèbre de Boole pour décrire l'état des relais (1 : fermé, 0 : ouvert).
En 1948, il publia un article en deux parties, A Mathematical Theory of Communications, qui fut repris en 1949 sous forme de livre avec un ajout de Warren Weaver (ISBN 0252725484). Cet ouvrage est centré autour de la problématique de la transmission de l'information d'un émetteur vers un récepteur. Dans ces publications, il popularisa l'utilisation du mot bit pour représenter l'élément de base d'une source d'information numérique. Il n'en est cependant pas l'inventeur (John Tukey fut le premier à utiliser le terme).
Il travailla 20 ans au MIT, de 1958 à 1978. Parallèlement à ses activités académiques, il travailla aussi aux laboratoires Bell de 1941 à 1972.
Claude Shannon était connu non seulement pour ses travaux dans les télécommunications, mais aussi pour l'étendue et l'originalité de ses hobbies, comme la jonglerie, la pratique du monocycle et l'invention de machines farfelues : une souris mécanique sachant trouver son chemin dans un labyrinthe, un robot jongleur, un joueur d'échecs (roi tour contre roi)...
Souffrant de la maladie d'Alzheimer dans les dernières années de sa vie, Claude Shannon est mort à 84 ans le 24 février 2001.
[modifier] Représentation de l'information
[modifier] Shannon : unité de mesure
Le Shannon est une unité de mesure désignant le nombre de bits nécessaires pour coder une quantité d'information.
Pour coder 2 états (pile ou face), 1 Shannon (ou 1 bit) est nécessaire : 0 ou 1
Pour coder 4 états, on doit utiliser 2 Shannon (2 bits) : 00, 01, 10, 11.
5 bits minimum sont indispensable pour coder les 26 lettres de l'alphabet, car :
Plus généralement, soit P le nombre d'états possibles, n le nombre de bits :
P = 2n
n = log2(P)
[modifier] Relation de Shannon
Dans le domaine des télécoms, la relation de Shannon permet de calculer la Valence (ou nombre maximal d'états) en milieu perturbé :
Soit S le signal, N le bruit :
On a alors le débit maximal :
Ce résultat est indépendant de la vitesse d'échantillonnage et du nombre de niveau d'un échantillon (la valence).
[modifier] Entropie au sens de Shannon
- Article détaillé : Entropie de Shannon.
Un apport essentiel des travaux de Shannon concerne la notion d'entropie. Si l'on considère N événements de probabilité p1, p2... pN, indépendantes les unes des autres, alors leur entropie de Shannon est définie comme :
Entropie =
Il a par ailleurs :
- établi un rapport entre augmentation d'entropie et gain d'information ;
- montré l'équivalence de cette notion avec l’ entropie de Ludwig Boltzmann en thermodynamique.
La découverte du concept ouvrait ainsi la voie aux méthodes dites d'entropie maximale (voir probabilité), donc au scanner médical, à la reconnaissance automatique des caractères et à l'apprentissage automatique .
[modifier] Anecdotes
- En 1981, Claude Shannon a commencé à écrire un article intitulé Scientific Aspects of Juggling, sur l'art de la jonglerie. Cet article était prévu pour être publié dans Scientific American, mais ce ne fut finalement pas le cas. Néanmoins, cette ébauche a servi de base à la formalisation des mouvements de jonglerie par le siteswap.[1]
[modifier] Voir aussi
[modifier] Articles connexes
- Théorème d'échantillonnage de Nyquist-Shannon
- Théorie de l'information
- Communication
- Message (communication)
- Inférence bayésienne
- cybernétique
[modifier] Liens externes
- Claude E. Shannon, A Symbolic Analysis of Relay and Switching Circuits, Thesis (M.S.), Massachusetts Institute of Technology, Dept. of Electrical Engineering, 1940
- Claude E. Shannon, A Mathematical Theory of Communication, Bell System Technical Journal, vol. 27, pp. 379-423 and 623-656, July and October, 1948
- Claude E. Shannon, Communication Theory of Secrecy Systems, Bell System Technical Journal, Vol 28, pp. 656-715, Oct 1949.
- J. Segal, Le Zéro et le Un, Syllepse, Paris, 2003