Théories d'informations de Shannon : théorie utilisant les probabilités, quantifier le contenu moyen en information, d'ensemble de messages du codage informatique, satisfait une distribution statistique.
Origine scientifique avec Claude Shannon (A Mathematical Theory of Communication publié en 1948). En branches du codage de l'information ; la mesure quantitative de redondance d'un texte, la compression de données, la cryptographie. Distinguer de la théorie algorithmique de l'information, créée par Kolmogorov, Solomonoff et Chaitin au début des années 1960.
| Symboles à coder | probabilité du triplet | codage du triplet | longueur du code |
|---|---|---|---|
| s1s1s1 | 0,83 = 0,512 | 0 | 1 |
| s1s1s2 | 0,82 × 0,2 = 0,128 | 100 | 3 |
| s1s2s1 | 0,82 × 0,2 = 0,128 | 101 | 3 |
| s2s1s1 | 0,82 × 0,2 = 0,128 | 110 | 3 |
| s1s2s2 | 0,22 × 0,8 = 0,032 | 11100 | 5 |
| s2s1s2 | 0,22 × 0,8 = 0,032 | 11101 | 5 |
| s2s2s1 | 0,22 × 0,8 = 0,032 | 11110 | 5 |
| s2s2s2 | 0,23 = 0,008 | 11111 | 5 |
