Laboratório Gerador de Lorem Ipsum

Uma cadeia de Markov é o antecessor matemático direto dos Modelos de Linguagem de Grande Escala (LLMs) modernos. Ambos funcionam segundo o mesmo ciclo autorregressivo de previsão do próximo token. O gerador olha para as N palavras anteriores (janela de contexto) e escolhe a próxima palavra a partir de uma distribuição de probabilidade. Enquanto uma cadeia de Markov faz uma simples procura de frases exatamente coincidentes num corpus pequeno, um LLM usa milhares de milhões de parâmetros (camadas de atenção) para avaliar o contexto e calcular probabilidades. Além disso, ajustar aqui a entropia-alvo corresponde diretamente ao parâmetro Temperatura nas APIs de LLMs: uma entropia mais alta cria texto criativo e diverso (temperatura alta), enquanto uma entropia mais baixa cria texto repetitivo e previsível (temperatura baixa).

O texto de preenchimento existe para que você possa avaliar um layout — espaçamento, tamanho da fonte, quebras de linha — sem se distrair com o que as palavras realmente dizem. Texto real tenta os revisores a reescrever frases antes mesmo de o design estar definido. Este laboratório vai um passo além: as métricas de entropia e de Zipf permitem verificar se o seu preenchimento imita a frequência de palavras da linguagem real, de modo que os parágrafos quebrem como o conteúdo final fará.

"Lorem ipsum" não é uma algaravia inventada: é latim embaralhado tirado do tratado de ética de Cícero De finibus bonorum et malorum, escrito em 45 a.C. Ele até começa no meio de uma palavra: Lorem é a cauda de dolorem ("dor"), com a primeira sílaba cortada. Assim, o preenchimento padrão da web é uma reflexão de 2.000 anos sobre o prazer e a dor, mutilada pelos primeiros impressores num espécime tipográfico — e o modo Markov deixa você reembaralhar o que eles um dia embaralharam à mão.