Claude Shannon

Un article de Wikipédia, l'encyclopédie libre.

Claude Elwood Shannon (30 avril 1916 à Gaylord, Michigan - 24 février 2001), ingénieur électrique, est l'un des pères, si ce n'est le père fondateur, de la théorie de l'information.

Sommaire

1 Biographie
- 1.1 Représentation de l'information
  - 1.1.1 Shannon : unité de mesure
  - 1.1.2 Relation de Shannon
- 1.2 Entropie au sens de Shannon
2 Anecdotes
3 Voir aussi
- 3.1 Articles connexes
- 3.2 Liens externes
4 Notes

[modifier] Biographie

Il étudia le génie électrique et les mathématiques à l'Université du Michigan en 1932. Il utilisa notamment l'algèbre Booléenne pour sa maîtrise soutenue en 1938 au MIT. Il y expliqua comment construire des machines à relais en utilisant l'algèbre de Boole pour décrire l'état des relais (1 : fermé, 0 : ouvert).

En 1948, il publia un article en deux parties, A Mathematical Theory of Communications, qui fut repris en 1949 sous forme de livre avec un ajout de Warren Weaver (ISBN 0252725484). Cet ouvrage est centré autour de la problématique de la transmission de l'information d'un émetteur vers un récepteur. Dans ces publications, il popularisa l'utilisation du mot bit pour représenter l'élément de base d'une source d'information numérique. Il n'en est cependant pas l'inventeur (John Tukey fut le premier à utiliser le terme).

Il travailla 20 ans au MIT, de 1958 à 1978. Parallèlement à ses activités académiques, il travailla aussi aux laboratoires Bell de 1941 à 1972.

Claude Shannon était connu non seulement pour ses travaux dans les télécommunications, mais aussi pour l'étendue et l'originalité de ses hobbies, comme la jonglerie, la pratique du monocycle et l'invention de machines farfelues : une souris mécanique sachant trouver son chemin dans un labyrinthe, un robot jongleur, un joueur d'échecs (roi tour contre roi)...

Souffrant de la maladie d'Alzheimer dans les dernières années de sa vie, Claude Shannon est mort à 84 ans le 24 février 2001.

[modifier] Représentation de l'information

[modifier] Shannon : unité de mesure

Le Shannon est une unité de mesure désignant le nombre de bits nécessaires pour coder une quantité d'information.

Pour coder 2 états (pile ou face), 1 Shannon (ou 1 bit) est nécessaire : 0 ou 1

Pour coder 4 états, on doit utiliser 2 Shannon (2 bits) : 00, 01, 10, 11.

5 bits minimum sont indispensable pour coder les 26 lettres de l'alphabet, car : $(2^4= 16) < 26 \le (2^5 = 32)$

Plus généralement, soit P le nombre d'états possibles, n le nombre de bits :

$P = 2 n$

$n = l o g 2 (P)$

$2^{(n-1)} < P \le 2^n$

[modifier] Relation de Shannon

Dans le domaine des télécoms, la relation de Shannon permet de calculer la Valence (ou nombre maximal d'états) en milieu perturbé :

Soit S le signal, N le bruit :

$n = \sqrt{1 + \frac{S} {N} }$

On a alors le débit maximal :

$H log_2(1+ \frac{S}{N})$

Ce résultat est indépendant de la vitesse d'échantillonnage et du nombre de niveau d'un échantillon (la valence).

[modifier] Entropie au sens de Shannon

Article détaillé : Entropie de Shannon.

Un apport essentiel des travaux de Shannon concerne la notion d'entropie. Si l'on considère N événements de probabilité p₁, p₂... p_N, indépendantes les unes des autres, alors leur entropie de Shannon est définie comme :

Entropie = $- \sum_{i=1}^N p_i \log_2(p_i)$

Il a par ailleurs :

établi un rapport entre augmentation d'entropie et gain d'information ;
montré l'équivalence de cette notion avec l’ entropie de Ludwig Boltzmann en thermodynamique.

La découverte du concept ouvrait ainsi la voie aux méthodes dites d'entropie maximale (voir probabilité), donc au scanner médical, à la reconnaissance automatique des caractères et à l'apprentissage automatique .

[modifier] Anecdotes

En 1981, Claude Shannon a commencé à écrire un article intitulé Scientific Aspects of Juggling, sur l'art de la jonglerie. Cet article était prévu pour être publié dans Scientific American, mais ce ne fut finalement pas le cas. Néanmoins, cette ébauche a servi de base à la formalisation des mouvements de jonglerie par le siteswap.^[1]

[modifier] Voir aussi

[modifier] Articles connexes

[modifier] Liens externes

Claude E. Shannon, A Symbolic Analysis of Relay and Switching Circuits, Thesis (M.S.), Massachusetts Institute of Technology, Dept. of Electrical Engineering, 1940
Claude E. Shannon, A Mathematical Theory of Communication, Bell System Technical Journal, vol. 27, pp. 379-423 and 623-656, July and October, 1948
Claude E. Shannon, Communication Theory of Secrecy Systems, Bell System Technical Journal, Vol 28, pp. 656-715, Oct 1949.
J. Segal, Le Zéro et le Un, Syllepse, Paris, 2003