Temperatura e amostragem

Tudo o que um modelo faz entre pontuar o vocabulário e escolher uma palavra é aritmética sem nada de acaso. Os dados são lançados uma só vez, mesmo no fim.

Exemplo resolvido — Temperatura e amostragem

Vantagem sobre o segundo	3,08×
Candidatos mantidos	12 / 12
Probabilidade mantida	100,0%
Continuações distintas no corpus	1.280
Parte das ocorrências que estes 12 cobrem	13,6%

Estes são os valores que a calculadora mostra ao abrir a página. Altere qualquer entrada acima para os recalcular.

A carregar a simulação interativa...

Temperatura não é acaso 🖖

Todos os passos desta página excepto o último são aritmética com uma resposta fixa. A temperatura divide as pontuações antes da exponencial, o top-k mantém um número fixo, o top-p mantém uma fracção fixa — execute qualquer um deles duas vezes com as mesmas definições e obtém números idênticos. O acaso entra exactamente uma vez, quando «Tirar um token» lança um único número contra estas probabilidades. É por isso que «baixa a temperatura para ficar determinista» é a descrição errada: uma temperatura baixa torna um resultado esmagadoramente provável, o que não é o mesmo que certo.

Top-k e top-p fixam coisas diferentes 🖖

O top-k mantém um número fixo de candidatos e deixa flutuar a probabilidade capturada: k = 3 mantém três de cada vez, mas esses três detêm 40,7% depois de ␣a e 72,2% depois de ␣so. O top-p faz o contrário — fixa a fracção e deixa flutuar o número, pelo que p = 50% mantém cinco candidatos depois de ␣a e apenas um depois de ␣it. É por isso que a amostragem por núcleo costuma ser preferida: quantas opções um modelo deve considerar depende de quão seguro está, e apenas uma destas duas definições consegue dar por isso.

Um token de contexto, e doze candidatos em 1280 🖖

Esta página corre um bigrama: olha exactamente um token para trás e nada mais. Um transformer olha para milhares, e é nisso que está toda a diferença entre isto e algo capaz de escrever. O que sobrevive à comparação é a aritmética — as pontuações tornam-se probabilidades, a temperatura remodela-as, o corte trunca-as, uma é tirada — e a forma do problema. Depois de ␣the este corpus oferece 1280 continuações distintas, e as doze aqui mostradas cobrem 13,6% das suas ocorrências. A cauda é a maior parte da distribuição, e o corte é o que a impede de se infiltrar na saída.

Problema resolvido na íntegra

Doze continuações candidatas que cobrem 13,6% do que realmente se segue 5 passos
Doze continuações candidatas cobrem 13,6% do que realmente se segue a este contexto. Determine como se parecem os outros 86% e por que razão essa forma decide o modo como a amostragem tem de funcionar.
1. O corpus oferece 1280 continuações distintas para este contexto. Essa é a distribuição real que o modelo está a tentar imitar, e é muito mais ampla do que qualquer lista restrita.
  
  $the corpus offers 1280 distinct continuations of this context$
2. As doze principais — as que o painel pontua — representam, no seu conjunto, 13,6% de todas as ocorrências.
  
  $the top 12 cover 13.6% of all occurrences$
3. Assim, as restantes 1268 continuações partilham 86,4%. Nenhuma delas é provável por si só e, coletivamente, constituem a maior parte do que acontece.
  
  $1280 - 12 = 1268 continuations share the remaining 86.4%$
4. Isto significa que 99,1% das opções detêm 86,4% da probabilidade: uma cauda longa, e não um pico com ruído em seu redor.
  
  $\frac{1268}{1280} = 99.1% of the options carry 86.4% of the mass$
5. Com o top-k desativado, as doze opções são mantidas e o painel indica 100% de probabilidade conservada. Esses 100% são calculados dentro da lista restrita, enquanto os 13,6% se referem ao corpus. Portanto, todos os filtros desta página atuam apenas sobre a cabeça da distribuição: as 1 268 continuações da cauda já tinham sido excluídas antes de se mover qualquer controlo.
  
  $top- k off \Rightarrow 12/12 kept, 100% probability retained$
Resposta

A ferramenta apresenta 12 / 12 opções mantidas, 100,0% da probabilidade conservada, 1 280 continuações distintas e 13,6% de cobertura. É a cauda que torna a amostragem difícil. Escolher sempre o token mais provável faz o texto cair na repetição, pois a escolha fica eternamente limitada aos mesmos 13,6%. Se a amostragem abranger todas as opções, mais cedo ou mais tarde surgirá algo absurdo: 86,4% da massa de probabilidade está distribuída por opções que, consideradas uma a uma, são péssimas. O top-k e o top-p servem para cortar a cauda sem achatar a cabeça da distribuição; os números acima mostram o equilíbrio que procuram alcançar. Repare no efeito da temperatura: defina o top-p como 90 e dez das doze opções permanecem; depois, aumente a temperatura para 1,50 e uma décima primeira volta a ser incluída. Ao tornar a distribuição mais uniforme, a temperatura alarga o núcleo em vez de o estreitar.

$a long tail: 99.1% of continuations hold 86.4% of the probability$

Percurso de aprendizagem

Como um LLM escolhe a palavra seguinte

Referências (2)

Where the temperature in a softmax comes from — it is the one in the Boltzmann distribution: D. H. Ackley, G. E. Hinton and T. J. Sejnowski, "A Learning Algorithm for Boltzmann Machines." Cognitive Science 9(1), 147–169, 1985.
Why lowering the temperature is not the same as improving the text, and what nucleus sampling does instead: A. Holtzman, J. Buys, L. Du, M. Forbes and Y. Choi, "The Curious Case of Neural Text Degeneration." ICLR 2020.

Pela equipa 42Math · Atualizado 2026-08-10

Verificado com fontes publicadas. Correções bem-vindas. Política editorial · Correções

Todas as lições de Computação →

Problemas de exemplo

Contexto menos seguro - Depois de ␣a o corpus oferece 980 continuações diferentes, e o líder ␣single fica apenas com 24,6% das doze mostradas. Essas doze cobrem 12,5% de tudo o que alguma vez se lhe seguiu.
Contexto mais seguro - Depois de ␣so o líder ␣the fica com 43,2%, e as doze mostradas cobrem 53,9% de todas as ocorrências — este contexto já se decidiu, ␣a não.
Frio: temperatura 0,2 - À temperatura 0,2 o líder ␣same detém 99,5% e lidera o segundo por 278×. Nada foi removido; as diferenças foram apenas esticadas.
Quente: temperatura 2 - À temperatura 2 o mesmo líder ␣same detém 18,2%, e a sua vantagem sobre o segundo caiu para 1,76×. Continua a ser o líder — isso nunca mudou.
Núcleo: manter 50% - Manter 50% da probabilidade deixa 3 candidatos em 12, detendo 54,5% entre si. Renormalizar dá 63,6% ao líder.
Temperatura 0 - A temperatura 0 mantém 1 candidato em 12. Não é um softmax muito frio; é argmax, e o painel di-lo.