Température et échantillonnage

Tout ce qu'un modèle fait entre l'attribution des scores au vocabulaire et le choix d'un mot est de l'arithmétique sans le moindre hasard. Les dés sont jetés une seule fois, tout à la fin.

Exemple résolu — Température et échantillonnage

Avance sur le deuxième	3,08×
Candidats conservés	12 / 12
Probabilité conservée	100,0%
Continuations distinctes dans le corpus	1 280
Part des occurrences couverte par ces 12	13,6%

Ce sont les valeurs affichées par le calculateur à l’ouverture de la page. Modifiez une entrée ci-dessus pour les recalculer.

Chargement de la simulation interactive...

La température n'est pas du hasard 🖖

Toutes les étapes de cette page sauf la dernière sont de l'arithmétique à réponse fixe. La température divise les scores avant l'exponentielle, top-k garde un nombre fixe, top-p garde une part fixe : exécutez n'importe laquelle deux fois avec les mêmes réglages et vous obtenez des nombres identiques. Le hasard n'intervient qu'une seule fois, quand « Tirer un token » lance un unique nombre contre ces probabilités. C'est pourquoi « baisse la température pour rendre ça déterministe » est une mauvaise description : une température basse rend un résultat massivement probable, ce qui n'est pas la même chose que certain.

Top-k et top-p fixent des choses différentes 🖖

Top-k garde un nombre fixe de candidats et laisse flotter la probabilité capturée : k = 3 en garde trois à chaque fois, mais ces trois-là détiennent 40,7% après ␣a et 72,2% après ␣so. Top-p fait l'inverse : il fixe la part et laisse flotter le nombre, de sorte que p = 50% garde cinq candidats après ␣a et un seul après ␣it. C'est pourquoi l'échantillonnage par noyau est généralement préféré : le nombre d'options qu'un modèle devrait envisager dépend de sa certitude, et un seul de ces deux réglages est capable de s'en apercevoir.

Un token de contexte, et douze candidats sur 1280 🖖

Cette page exécute un bigramme : elle regarde exactement un token en arrière, pas davantage. Un transformeur en regarde des milliers, et c'est là toute la différence entre ceci et quelque chose capable d'écrire. Ce qui survit à la comparaison, c'est l'arithmétique — les scores deviennent des probabilités, la température les remodèle, la troncature les coupe, un est tiré — et la forme du problème. Après ␣the ce corpus propose 1280 continuations distinctes, et les douze affichées ici couvrent 13,6% de ses occurrences. La queue est l'essentiel de la distribution, et la troncature est ce qui l'empêche de s'infiltrer dans la sortie.

Problème entièrement résolu

Douze suites candidates qui couvrent 13,6 % de ce qui suit réellement 5 étapes
Douze continuations candidates couvrent 13,6 % de ce qui suit réellement ce contexte. Déterminez à quoi ressemblent les autres 86 %, et pourquoi cette forme décide de la manière dont l'échantillonnage doit fonctionner.
1. Le corpus offre 1 280 continuations distinctes de ce contexte. C'est la distribution réelle que le modèle tente d'imiter, et elle est bien plus large que n'importe quelle liste restreinte.
  
  $the corpus offers 1280 distinct continuations of this context$
2. Les douze meilleures — celles que le panneau évalue — représentent à elles seules 13,6 % de toutes les occurrences.
  
  $the top 12 cover 13.6% of all occurrences$
3. Ainsi, les 1 268 continuations restantes se partagent 86,4 %. Aucune d'entre elles n'est probable prise isolément, et collectivement elles représentent la majeure partie de ce qui se produit.
  
  $1280 - 12 = 1268 continuations share the remaining 86.4%$
4. C'est-à-dire 99,1 % des options qui détiennent 86,4 % de la probabilité : une longue traîne, et non un pic entouré de bruit.
  
  $\frac{1268}{1280} = 99.1% of the options carry 86.4% of the mass$
5. Lorsque top-k est désactivé, les douze éléments sont conservés et le panneau indique que 100 % de la probabilité est retenue. Ce taux de 100 % est calculé au sein de la sélection restreinte, tandis que les 13,6 % se rapportent au corpus entier. Tous les filtres de cette page agissent donc sur la tête de la distribution : les 1 268 continuations de la traîne avaient déjà été écartées avant même que vous ne déplaciez un curseur.
  
  $top- k off \Rightarrow 12/12 kept, 100% probability retained$
Réponse

L’outil affiche 12 / 12 éléments conservés, 100,0 % de probabilité retenue, 1 280 continuations distinctes et une couverture de 13,6 %. Toute la difficulté de l’échantillonnage vient de la traîne. Si vous choisissez toujours le token le plus probable, le texte finit par se répéter, car vous restez indéfiniment cantonné aux 13,6 %. Si vous échantillonnez dans l’ensemble de la distribution, vous finirez par tirer une option absurde : 86,4 % de la masse est répartie entre des possibilités qui, prises séparément, sont très mauvaises. Top-k et top-p servent à retrancher la traîne sans aplatir la tête de la distribution ; les valeurs ci-dessus rendent compte du compromis recherché. Observez l’effet de la température : réglez top-p sur 90, et dix éléments sur douze subsistent. Augmentez ensuite la température à 1,50 ; un onzième réapparaît, car l’aplatissement de la distribution élargit le noyau.

$a long tail: 99.1% of continuations hold 86.4% of the probability$

Parcours

Comment un LLM choisit le mot suivant

Références (2)

Where the temperature in a softmax comes from — it is the one in the Boltzmann distribution: D. H. Ackley, G. E. Hinton and T. J. Sejnowski, "A Learning Algorithm for Boltzmann Machines." Cognitive Science 9(1), 147–169, 1985.
Why lowering the temperature is not the same as improving the text, and what nucleus sampling does instead: A. Holtzman, J. Buys, L. Du, M. Forbes and Y. Choi, "The Curious Case of Neural Text Degeneration." ICLR 2020.

Par l’équipe 42Math · Mis à jour 2026-08-10

Vérifié sur des sources publiées. Corrections bienvenues. Politique éditoriale · Corrections

Toutes les leçons : Informatique →

Exemples de problèmes

Contexte le moins sûr - Après ␣a le corpus propose 980 continuations différentes, et le leader ␣single ne prend que 24,6% des douze affichées. Ces douze couvrent 12,5% de tout ce qui l'a jamais suivi.
Contexte le plus sûr - Après ␣so le leader ␣the prend 43,2%, et les douze affichées couvrent 53,9% de toutes les occurrences : ce contexte s'est décidé, ␣a non.
Froid : température 0,2 - À température 0,2 le leader ␣same détient 99,5% et devance le deuxième de 278×. Rien n'a été supprimé ; les écarts ont seulement été étirés.
Chaud : température 2 - À température 2 le même leader ␣same détient 18,2%, et son avance sur le deuxième est tombée à 1,76×. Il mène toujours — cela n'a jamais changé.
Noyau : garder 50% - Garder 50% de la probabilité laisse 3 candidats sur 12, détenant 54,5% à eux trois. La renormalisation donne 63,6% au leader.
Température 0 - La température 0 garde 1 candidat sur 12. Ce n'est pas un softmax très froid ; c'est argmax, et l'affichage le dit.