NLP-Entropie-Labor

Shannon-Entropie, Kreuzentropie, Perplexität und KL-Divergenz sind die grundlegenden mathematischen Kennzahlen zum Trainieren und Bewerten von KI-Sprachmodellen (LLMs) wie GPT-4 und Llama. Die Kreuzentropie zu minimieren entspricht dem Training des Modells auf die Vorhersage des nächsten Tokens, die Perplexität misst dessen Bewertungsleistung, und die KL-Divergenz wird beim RLHF-Alignment als Strafterm verwendet.

Entropie bewertet, wie unvorhersehbar ein Text ist – die durchschnittliche "Überraschung" pro Token. Die Perplexität übersetzt das in eine anschauliche Zahl: Eine Perplexität von 8 bedeutet, das Modell ist im Schnitt so unsicher, als würde es gleichmäßig unter 8 Wörtern wählen. Vergleiche einen repetitiven Prompt mit abwechslungsreicher Prosa und beobachte, wie die Perplexität steigt – vorhersehbarer Text erzielt niedrige, vielfältiger Text hohe Werte.

1951 schätzte Claude Shannon die Entropie des Englischen nicht mit einem Computer, sondern mit Menschen: Versuchspersonen rieten den nächsten Buchstaben eines verdeckten Textes, und ihre Trefferquote grenzte Englisch auf etwa 0.6 bis 1.3 Bit pro Zeichen ein. Diese Zahl ist bis heute der Maßstab – moderne LLMs werden daran gemessen, wie nah ihre Perplexität pro Zeichen an dieses menschlich ermittelte Limit herankommt, siebzig Jahre später.