Laboratorio de entropía en PLN

La entropía de Shannon, la entropía cruzada, la perplejidad y la divergencia KL son las métricas matemáticas fundamentales usadas para entrenar y evaluar grandes modelos de lenguaje (LLM) de IA como GPT-4 y Llama. Minimizar la entropía cruzada equivale a entrenar el modelo para predecir el siguiente token, mientras que la perplejidad mide su rendimiento en la evaluación, y la divergencia KL se usa como penalización en el ajuste por refuerzo RLHF.

La entropía cuantifica cuán impredecible es un texto: la «sorpresa» media que aporta cada token. La perplejidad lo traduce en una cifra intuitiva: una perplejidad de 8 significa que el modelo está, en promedio, tan indeciso como si eligiera de forma uniforme entre 8 palabras. Compara un prompt repetitivo con prosa variada y observa cómo sube la perplejidad: el texto predecible puntúa bajo y el diverso, alto.

En 1951, Claude Shannon estimó la entropía del inglés no con un ordenador, sino con personas: los sujetos adivinaban la siguiente letra de un texto oculto, y su tasa de acierto acotó el inglés en torno a 0.6 a 1.3 bits por carácter. Esa cifra sigue siendo la referencia: los LLM modernos se juzgan por lo cerca que su perplejidad por carácter llega de ese límite derivado de humanos, setenta años después.