Entropie (informatietheorie)
Van Wikipedia
Informatie ontstaat als een gebeurtenis plaatsvindt die vooraf onzeker was. In de informatietheorie wordt dit inzicht verder wiskundig uitgewerkt.
De gemiddelde hoeveelheid informatie bij een nog plaats te vinden gebeurtenis of een nog uit te voeren experiment, is gedefinieerd als de mathematische verwachting van de hoeveelheid zelfinformatie die deze gebeurtenis op zal leveren. Het gaat hierbij om de 'verwachting' zoals gedefinieerd in de kansrekening.
Stel dat er bij een experiment A een aantal mogelijke uitkomsten Ui bestaat (i = 1, 2, ..., n). Iedere uitkomst Ui zal dan optreden met een zekere kans pi. Dit betekent dat bij uitkomst Ui een hoeveelheid zelfinformatie H(Ui) = - 2log(pi) behoort. De hoeveelheid informatie die beschikbaar komt bij eenmalige uitvoering van experiment A noemen we I; 
De gemiddelde hoeveelheid informatie bij dit experiment is 
bit.
[bewerk] Voorbeeld
Het alfabet bevat zes klinkers (a, e, i, o, u, y) en twintig medeklinkers. Bij een experiment schrijft iemand een geheel willekeurige letter op een papiertje, en wordt er vervolgens vastgesteld of het een klinker dan wel een medeklinker is. De gemiddelde hoeveelheid informatie die beschikbaar komt bij dit experiment is dan 
bit.
Dit is een voorbeeld van een experiment met twee mogelijke uitkomsten. Het blijkt dat de gemiddelde hoeveelheid informatie bij uitvoering van het experiment minder dan 1 bit bedraagt. In het algemeen is het bewijsbaar dat uitvoeren van een experiment dat N mogelijke uitkomsten heeft nooit meer dan een gemiddelde informatie van 2log(N) bit kan opleveren. En deze waarde voor de gemiddelde informatie wordt bereikt als elke uitkomst een even grote kans 1/N heeft.
[bewerk] Relatie met thermodynamica
Het begrip entropie is bekender in de thermodynamica dan de informatietheorie, maar de definitie van entropie in de informatietheorie heeft veel overeenkomsten met entropie zoals gebruikt door natuurkundigen en chemici. Het werk van Boltzmann en Gibbs aan statistische thermodynamica vormde de inspiratie voor Shannon om het begrip in de informatietheorie te gebruiken.
