Laboratoire générateur de Lorem Ipsum

Explorez la génération déterministe de lorem, les métriques de théorie de l'information (entropie/température) et la façon dont les boucles de contexte de Markov sont les ancêtres directs des grands modèles de langage (LLM) modernes.

Exemple résolu — Laboratoire générateur de Lorem Ipsum

Mots générés	180
Mots uniques	61
Entropie mesurée	5.747 bits/word
Entropie cible	6.2
Écart à la cible	0.453
Exposant de Zipf (s)	0.32
Tokens LLM estimés	311

Ce sont les valeurs affichées par le calculateur à l’ouverture de la page. Modifiez une entrée ci-dessus pour les recalculer.

Chargement de la simulation interactive...

Votre curseur d’entropie est un réglage de température de LLM 🖖

Une chaîne de Markov est l'ancêtre mathématique direct des grands modèles de langage (LLM) modernes. Les deux fonctionnent selon la même boucle autorégressive de prédiction du token suivant. Le générateur observe les N mots précédents (fenêtre de contexte) et choisit le mot suivant à partir d'une distribution de probabilité. Alors qu'une chaîne de Markov se contente de rechercher des phrases correspondant exactement dans un petit corpus, un LLM utilise des milliards de paramètres (couches d'attention) pour évaluer le contexte et calculer des probabilités. De plus, ajuster ici l'entropie cible correspond directement au paramètre Température des API de LLM : une entropie plus élevée crée un texte créatif et varié (température élevée), tandis qu'une entropie plus faible crée un texte répétitif et prévisible (température basse).

Pourquoi un faux texte améliore les maquettes 🖖

Le faux-texte existe pour qu'on puisse juger une mise en page — espacements, corps de police, retours à la ligne — sans être distrait par le sens réel des mots. Un vrai texte pousse les relecteurs à réécrire des phrases avant même que le design soit arrêté. Ce laboratoire va plus loin : les mesures d'entropie et de Zipf permettent de vérifier si votre faux-texte imite la fréquence des mots d'une langue réelle, afin que les paragraphes se coupent comme le fera le contenu final.

Lorem ipsum, du Cicéron mutilé 🖖

« Lorem ipsum » n'est pas un charabia inventé : c'est du latin mélangé, tiré du traité d'éthique de Cicéron De finibus bonorum et malorum, écrit en 45 av. J.-C. Il commence même au milieu d'un mot : Lorem est la fin de dolorem (« douleur »), amputée de sa première syllabe. Le faux-texte par défaut du web est donc une réflexion vieille de 2 000 ans sur le plaisir et la douleur, brouillée par les premiers imprimeurs en spécimen typographique — et le mode Markov vous laisse re-mélanger ce qu'ils avaient jadis mélangé à la main.

Problème entièrement résolu

L'écart de discordance cible de 0,453 sur 180 mots 7 étapes
Mode classique, 180 mots, graine spock, entropie cible 6,2. Le panneau mesure 5,747 bits par mot et indique un écart à la cible de 0,453. Calculez quelle part de cet écart le générateur pourrait un jour combler, et quelle part existe uniquement parce que vous avez compté 180 mots plutôt qu'un million.
1. Le mode classique choisit chaque mot de façon indépendante et uniforme parmi les mots distincts du corpus source. Ce corpus comprend 69 mots et 63 d'entre eux sont différents, de sorte que chaque tirage représente une chance sur 63, ce que la trace affiche sous la forme 1,6 %.
  
  $p_{i} = \frac{1}{63} = 0.0159 (i = 1, \dots, 63), N = 180$
2. Un tirage uniforme est le tirage le plus imprévisible qui soit sur un alphabet fixe, donc log₂ 63 est un plafond, et non une moyenne. La cible de 6,2 se situe au-dessus. Cette part du désaccord tient au corpus lui-même, et aucune graine, aucun nouveau tirage ni aucun nombre de mots ne peut la modifier.
  
  $H_{m a x} = lo g_{2} 63 = 5.9773 ⟹ 6.2 - 5.9773 = 0.2227 bits$
3. Faisons maintenant le décompte du passage effectivement produit par le générateur : 12 mots apparaissent une fois, 13 deux fois, 16 trois fois, 10 quatre fois, 7 cinq fois, 2 six fois et 1 mot apparaît 7 fois. Deux sommes confirment que le décompte est complet — 61 mots distincts, 180 jetons — et la première d'entre elles constitue la seconde valeur du panneau.
  
  $(n_{1}, \dots, n_{7}) = (12, 13, 16, 10, 7, 2, 1) : \sum_{m} n_{m} = 61, \sum_{m} m n_{m} = 180$
4. L'entropie mesurée est l'estimateur de substitution : on prend les fréquences observées et on les traite comme s'il s'agissait de probabilités. Regrouper les mots selon leur fréquence d'apparition réduit une somme de 61 termes à une somme de 7 termes, car deux mots observés 3 fois apportent une contribution identique.
  
  $\hat{H} = lo g_{2} 180 - \frac{1}{180} m \sum n_{m} m lo g_{2} m$
5. Les mots observés une seule fois ne contribuent en rien, puisque 1 × log₂ 1 = 0 ; seuls 6 termes subsistent donc.
  
  $\frac{1}{180} (26 + 76.08 + 80 + 81.27 + 31.02 + 19.65) = \frac{314.02}{180} = 1.7446$
6. Soustrayez, et l'on retrouve la valeur du panneau jusqu'au dernier chiffre affiché.
  
  $\hat{H} = 7.4919 - 1.7446 = 5.7473 bits/word$
7. Les 0,230 bit restants se situent entre la mesure et le plafond, et résultent d'un artefact de comptage : 2 des 63 mots n'apparaissent jamais, et un estimateur de substitution interprète un histogramme irrégulier comme s'il s'agissait de la vérité, ce qui sous-estime l'entropie à chaque fois. Miller–Madow corrige cela au premier ordre en utilisant le nombre de types de mots réellement observés.
  
  $\hat{H}_{MM} = \hat{H} + \frac{K ^ - 1}{2 N ln 2} = 5.7473 + \frac{60}{249.5} = 5.988$
Réponse

5,747 bits par mot, et la valeur 0,453 affichée est la somme de deux éléments sans rapport. Une part de 0,223 constitue une barrière — le corpus fournit 63 mots, log₂ 63 = 5,9773, et atteindre 6,2 nécessiterait 2^6,2 = 73,5, soit un vocabulaire d'au moins 74 mots distincts. Les autres 0,230 ne sont pas une propriété du texte mais de la taille de l'échantillon, et la correction permet de les retrouver : 5,988 contre un plafond réel de 5,9773, soit un dépassement de 0,010. Même le signe de ce dépassement peut être déduit — le générateur construit 6 passages candidats et conserve celui dont la mesure est la plus proche de la cible ; comme chaque candidat reste en deçà de 6,2, conserver le plus proche revient à conserver le plus uniforme. Le terme de biais diminue en 1/N : pour 1 800 mots, il est de 0,025 bit, de sorte qu'un passage plus long résout discrètement la moitié du désaccord et laisse l'autre moitié exactement là où elle était.

$0.453 = 6.2 - l o g_{2} 63 0.223 + l o g_{2} 63 - \hat{H} 0.230$

Références (2)

The chain the generator runs, and the entropy it reports: C. E. Shannon, "A Mathematical Theory of Communication." The Bell System Technical Journal 27(3), 379–423, 1948.
The word-frequency shape the Zipf readout checks against: G. K. Zipf, Human Behavior and the Principle of Least Effort. Addison-Wesley, 1949.

Par l’équipe 42Math · Mis à jour 2026-05-27

Vérifié sur des sources publiées. Corrections bienvenues. Politique éditoriale · Corrections

Toutes les leçons : Informatique →

Exemples de problèmes

équilibré - Texte de remplissage équilibré, à entropie modérée et graine reproductible.
type Zipf - Profil rang-fréquence de type Zipf, pour une décroissance de fréquence proche du langage naturel.
chaîne de Markov - Texte en mode Markov, avec une mémoire de séquence locale et une variabilité accrue.