Aire de jeu du codage entropique

Le codage entropique exploite la redondance statistique pour représenter les messages avec moins de bits. Le théorème de codage de source de Shannon énonce que la longueur moyenne minimale absolue de tout code sans perte est l'entropie de Shannon : $H(X) = -\sum p_i \log_2 p_i$. Le codage de Huffman est optimal pour un alphabet donné lorsque les symboles sont codés individuellement, mais il est contraint à des mots de code de longueur entière. Cette contrainte entière signifie que Huffman peut s'écarter de l'entropie théorique jusqu'à 0,086 bit/symbole (et bien plus si un symbole a $p_i \approx 1$). Le codage arithmétique (par ex. ANS) dépasse cette limite en associant la séquence entière à des intervalles fractionnaires.

Lien avec les LLM et l'IA : Dans les modèles de langage (LLM) modernes, l'entropie est un concept central tant pour l'entraînement que pour la génération. Les LLM sont entraînés en minimisant la perte d'entropie croisée entre leurs prédictions de vocabulaire et le texte réel. Lors de la génération (inférence), le LLM produit une distribution de probabilité sur son vocabulaire pour le prochain token. L'entropie de cette distribution mesure l'incertitude de prédiction du modèle : une distribution plate (entropie élevée) donne un texte créatif ou aléatoire, tandis qu'une distribution pointue (entropie faible) donne un texte très prévisible. Des paramètres d'échantillonnage comme la température mettent directement à l'échelle cette entropie (une température plus basse la réduit, une température plus haute l'augmente), tandis que l'échantillonnage nucleus (Top-p) borne dynamiquement la probabilité cumulée pour élaguer les queues de forte entropie.

La vraie leçon de cet outil : le nombre idéal de bits pour un symbole est sa surprise, −log₂ p. Un symbole apparaissant une fois sur deux mérite 1 bit ; un symbole de probabilité 1 sur 1000, environ 10 bits. L'entropie n'est que la surprise moyenne sur l'ensemble des symboles. C'est pourquoi les distributions asymétriques (comme les préréglages laplacien ou exponentiel) se compriment bien, alors qu'un alphabet uniforme non — quand tout est équiprobable, il n'y a aucune redondance à supprimer.

Le code morse attribuait le signal le plus court, un simple point, au E, la lettre la plus fréquente en anglais, et de longues séquences aux lettres rares comme Q et Z. Pour fixer les longueurs, Alfred Vail aurait compté les caractères en plomb dans la casse d'un imprimeur afin d'estimer la fréquence des lettres. C'était un codage à longueur variable fonctionnel dès les années 1840 — près d'un siècle avant que Shannon ne formalise, en 1948, pourquoi il fonctionne.