Laboratório Gerador de Lorem Ipsum

Explora a geração determinística de lorem ipsum, métricas da teoria da informação (entropia/temperatura) e como os ciclos de contexto de Markov são os antecessores diretos dos Modelos de Linguagem de Grande Escala (LLMs) modernos.

Exemplo resolvido — Laboratório Gerador de Lorem Ipsum

Palavras geradas	180
Palavras únicas	61
Entropia medida	5.747 bits/word
Entropia-alvo	6.2
Desvio do alvo	0.453
Expoente de Zipf (s)	0.32
Tokens de LLM estimados	311

Estes são os valores que a calculadora mostra ao abrir a página. Altere qualquer entrada acima para os recalcular.

A carregar a simulação interativa...

Seu controle de entropia é um dial de temperatura de LLM 🖖

Uma cadeia de Markov é o antecessor matemático direto dos Modelos de Linguagem de Grande Escala (LLMs) modernos. Ambos funcionam segundo o mesmo ciclo autorregressivo de previsão do próximo token. O gerador olha para as N palavras anteriores (janela de contexto) e escolhe a próxima palavra a partir de uma distribuição de probabilidade. Enquanto uma cadeia de Markov faz uma simples procura de frases exatamente coincidentes num corpus pequeno, um LLM usa milhares de milhões de parâmetros (camadas de atenção) para avaliar o contexto e calcular probabilidades. Além disso, ajustar aqui a entropia-alvo corresponde diretamente ao parâmetro Temperatura nas APIs de LLMs: uma entropia mais alta cria texto criativo e diverso (temperatura alta), enquanto uma entropia mais baixa cria texto repetitivo e previsível (temperatura baixa).

Por que texto sem sentido faz melhores maquetes 🖖

O texto de preenchimento existe para que você possa avaliar um layout — espaçamento, tamanho da fonte, quebras de linha — sem se distrair com o que as palavras realmente dizem. Texto real tenta os revisores a reescrever frases antes mesmo de o design estar definido. Este laboratório vai um passo além: as métricas de entropia e de Zipf permitem verificar se o seu preenchimento imita a frequência de palavras da linguagem real, de modo que os parágrafos quebrem como o conteúdo final fará.

Lorem ipsum é Cícero mutilado 🖖

"Lorem ipsum" não é uma algaravia inventada: é latim embaralhado tirado do tratado de ética de Cícero De finibus bonorum et malorum, escrito em 45 a.C. Ele até começa no meio de uma palavra: Lorem é a cauda de dolorem ("dor"), com a primeira sílaba cortada. Assim, o preenchimento padrão da web é uma reflexão de 2.000 anos sobre o prazer e a dor, mutilada pelos primeiros impressores num espécime tipográfico — e o modo Markov deixa você reembaralhar o que eles um dia embaralharam à mão.

Problema resolvido na íntegra

O desvio em relação ao alvo de 0,453 ao longo de 180 palavras 7 passos
Modo clássico, 180 palavras, semente spock, entropia-alvo de 6,2. O painel mede 5,747 bits por palavra e apresenta um desvio em relação ao alvo de 0,453. Calcule que parte dessa diferença o gerador poderia alguma vez fechar, e que parte existe apenas por ter contado 180 palavras em vez de um milhão.
1. O modo clássico escolhe cada palavra de forma independente e uniforme a partir das palavras distintas do corpus de origem. Esse corpus tem 69 palavras de comprimento e 63 delas são diferentes, pelo que cada extração é uma hipótese em 63, o que o rastreio apresenta como 1,6%.
  
  $p_{i} = \frac{1}{63} = 0.0159 (i = 1, \dots, 63), N = 180$
2. Uma extração uniforme é a extração mais imprevisível que existe sobre um alfabeto fixo, pelo que log₂ 63 é um teto máximo, não uma média. O alvo de 6,2 situa-se acima dele. Toda essa parte do desvio é um facto sobre o corpus e nenhuma semente, nenhuma nova tentativa e nenhuma contagem de palavras o pode alterar.
  
  $H_{m a x} = lo g_{2} 63 = 5.9773 ⟹ 6.2 - 5.9773 = 0.2227 bits$
3. Agora faça a contagem da passagem que o gerador efetivamente apresentou: 12 palavras ocorrem uma vez, 13 duas vezes, 16 três vezes, 10 quatro vezes, 7 cinco vezes, 2 seis vezes e 1 palavra ocorre 7 vezes. Duas somas confirmam que a contagem está completa — 61 palavras distintas, 180 tokens — e a primeira delas é o segundo valor do painel.
  
  $(n_{1}, \dots, n_{7}) = (12, 13, 16, 10, 7, 2, 1) : \sum_{m} n_{m} = 61, \sum_{m} m n_{m} = 180$
4. A entropia medida é a estimativa plug-in: tome as frequências observadas e trate-as como se fossem as probabilidades. Agrupar as palavras pela frequência com que ocorreram reduz uma soma de 61 termos a uma de 7 termos, porque duas palavras vistas 3 vezes contribuem de forma idêntica.
  
  $\hat{H} = lo g_{2} 180 - \frac{1}{180} m \sum n_{m} m lo g_{2} m$
5. As palavras vistas uma vez não contribuem em nada, uma vez que 1 × log₂ 1 = 0, pelo que apenas 6 termos sobrevivem.
  
  $\frac{1}{180} (26 + 76.08 + 80 + 81.27 + 31.02 + 19.65) = \frac{314.02}{180} = 1.7446$
6. Subtraia, e o resultado coincide com o painel até ao último dígito apresentado.
  
  $\hat{H} = 7.4919 - 1.7446 = 5.7473 bits/word$
7. Os restantes 0,230 bits situam-se entre a medição e o teto máximo, e são um artefacto da contagem: 2 das 63 palavras nunca apareceram, e uma estimativa plug-in lê um histograma irregular como se fosse a verdade, o que subestima a entropia em todas as ocasiões. A correção de Miller–Madow corrige isso de primeira ordem utilizando o número de tipos de palavras efetivamente observados.
  
  $\hat{H}_{MM} = \hat{H} + \frac{K ^ - 1}{2 N ln 2} = 5.7473 + \frac{60}{249.5} = 5.988$
Resposta

5,747 bits por palavra, e o valor de 0,453 apresentado é a soma de duas coisas não relacionadas. 0,223 desse valor é um limite intransponível — o corpus fornece 63 palavras, log₂ 63 = 5,9773, e atingir 6,2 exigiria 2^6,2 = 73,5, ou seja, um vocabulário de pelo menos 74 palavras distintas. Os outros 0,230 não são uma propriedade do texto, mas sim do tamanho da amostra, e a correção recupera-os: 5,988 contra um teto real de 5,9773, ultrapassando-o por 0,010. Até o sinal dessa ultrapassagem é dedutível — o gerador constrói 6 passagens candidatas e mantém aquela cuja medição fica mais próxima do alvo e, como todas as candidatas ficam aquém de 6,2, manter a mais próxima significa manter a mais uniforme. O termo de viés diminui como 1/N: a 1 800 palavras é de 0,025 bits, pelo que uma passagem mais longa resolve discretamente metade do desvio e deixa a outra metade exatamente onde estava.

$0.453 = 6.2 - l o g_{2} 63 0.223 + l o g_{2} 63 - \hat{H} 0.230$

Referências (2)

The chain the generator runs, and the entropy it reports: C. E. Shannon, "A Mathematical Theory of Communication." The Bell System Technical Journal 27(3), 379–423, 1948.
The word-frequency shape the Zipf readout checks against: G. K. Zipf, Human Behavior and the Principle of Least Effort. Addison-Wesley, 1949.

Pela equipa 42Math · Atualizado 2026-05-27

Verificado com fontes publicadas. Correções bem-vindas. Política editorial · Correções

Todas as lições de Computação →

Problemas de exemplo

equilibrado - Texto de preenchimento equilibrado, com entropia moderada e semente reproduzível.
tipo zipf - Perfil de frequência por rank do tipo Zipf, com decaimento de frequência ao estilo da linguagem natural.
cadeia de markov - Texto em modo Markov, com memória local de sequência e maior variabilidade.