NLP-Entropie-Labor

Visualisiere Token-Wahrscheinlichkeitsverteilungen, Shannon-Entropie, Perplexität, Kreuzentropie und KL-Divergenz — die zentralen mathematischen Kennzahlen zum Trainieren und Bewerten von KI-Sprachmodellen (LLMs).

Rechenbeispiel — NLP-Entropie-Labor

Tokenisierungsmodus	Wörter
Shannon-Entropie H(P)	4.87254 bits
Perplexität PP(P)	29.2942
Laplace-Glättung (Referenz B)	46
Kreuzentropie H(P, Q)	6.08388 bits
KL-Divergenz D_KL(P \|\| Q)	1.21134 bits

Das sind die Werte, die der Rechner beim Öffnen der Seite anzeigt. Ändere oben eine Eingabe, um sie neu zu berechnen.

Interaktive Simulation wird geladen...

Kreuzentropie zu minimieren ist dasselbe wie das nächste Token vorherzusagen 🖖

Ein Sprachmodell wird auf Kreuzentropie trainiert. Der Grund dafür liegt in einer mathematischen Identität, nicht in einer Konvention: Die Kreuzentropie ist gleich der Entropie der Daten plus der KL-Divergenz zwischen Daten und Modell. Bleiben die Daten unverändert, kann eine sinkende Kreuzentropie also nur bedeuten, dass auch die KL-Divergenz sinkt. Lade Natürliche Zipf-Verteilung: Die Entropie beträgt 4,87 Bit, die Kreuzentropie 6,08. Die Differenz von 1,21 ist genau die KL-Divergenz. Die Perplexität drückt denselben Wert auf einer anschaulicheren Skala aus: 2^4,87 = 29,29. Auch beim RLHF begegnet dir die KL-Divergenz. Dort dient sie als Strafterm, der ein angepasstes Modell in der Nähe seines Ausgangsmodells hält.

Was Entropie wirklich misst: Überraschung 🖖

Entropie bewertet, wie unvorhersehbar ein Text ist – die durchschnittliche "Überraschung" pro Token. Die Perplexität übersetzt das in eine anschauliche Zahl: Eine Perplexität von 8 bedeutet, das Modell ist im Schnitt so unsicher, als würde es gleichmäßig unter 8 Wörtern wählen. Vergleiche einen repetitiven Prompt mit abwechslungsreicher Prosa und beobachte, wie die Perplexität steigt – vorhersehbarer Text erzielt niedrige, vielfältiger Text hohe Werte.

Shannon maß Englisch mit einem Ratespiel 🖖

1951 schätzte Claude Shannon die Entropie des Englischen nicht mit einem Computer, sondern mit Menschen: Versuchspersonen rieten den nächsten Buchstaben eines verdeckten Textes, und ihre Trefferquote grenzte Englisch auf etwa 0.6 bis 1.3 Bit pro Zeichen ein. Diese Zahl ist bis heute der Maßstab – moderne LLMs werden daran gemessen, wie nah ihre Perplexität pro Zeichen an dieses menschlich ermittelte Limit herankommt, siebzig Jahre später.

Aufgabe vollständig gelöst

Woher die vier Entropiewerte auf der Anzeige stammen 5 Schritte
Entropie 4,87 Bits, Perplexität 29,29, Kreuzentropie 6,08, KL-Divergenz 1,21. Vier Zahlen auf dem Bedienfeld und nur zwei davon sind unabhängig. Finden Sie die zwei exakten Beziehungen, die sie miteinander verknüpfen.
1. Entropie ist die durchschnittliche Überraschung der wahren Verteilung, gemessen in Bits: die Anzahl der Ja/Nein-Fragen, die pro Token benötigt werden, wenn Sie optimal für diesen Text kodieren.
  
  $H (P) = - i \sum p_{i} lo g_{2} p_{i} = 4.87254 bits$
2. Die Perplexität bringt dies lediglich auf eine anschaulichere Skala — zwei hoch die Entropie. Sie beantwortet die Frage: 'Wie viele gleich wahrscheinliche Optionen fühlten sich ebenso unsicher an?', und 29,29 lässt sich leichter vorstellen als 4,87 Bits.
  
  $PP (P) = 2^{H (P)} = 2^{4.87254} = 29.2942$
3. Die Kreuzentropie ist der Aufwand für die Kodierung der wahren Verteilung unter Verwendung eines Codes, der für eine andere Verteilung konstruiert wurde. Sie ist niemals kleiner als die Entropie, weil der optimale Code für P optimal ist.
  
  $H (P, Q) = - i \sum p_{i} lo g_{2} q_{i} = 6.08388 bits$
4. Der Überschuss ist die KL-Divergenz, und sie ist eine Subtraktion, keine separate Berechnung: 6,08388 − 4,87254 = 1,21134, bis auf die letzte angezeigte Stelle.
  
  $D_{KL} (P ∥ Q) = H (P, Q) - H (P) = 6.08388 - 4.87254 = 1.21134$
5. Das Potenzieren dieses Überschusses zeigt, was dies in der Praxis bedeutet. 2^1,21 ist 2,32, sodass die Verwendung des falschen Modells bedeutet, dass man pro Wort vor 2,32-mal so vielen Optionen steht — aus 29,29 wird 67,8.
  
  $2^{D_{KL}} = 2^{1.21134} = 2.32 ⟹ 29.29 \to 67.8 effective choices$
Antwort

Das Werkzeug gibt H = 4,87254, PP = 29,2942, H(P,Q) = 6,08388 und D_KL = 1,21134 aus. Die zwei Identitäten — Perplexität ist 2^H, und KL ist Kreuzentropie minus Entropie — gelten für jedes Paar von Verteilungen, sodass sie eine Überprüfung darstellen, die Sie bei jedem Modellbericht durchführen können, der Ihnen vorgelegt wird. Sie erklären auch, warum Sprachmodelle anhand der Kreuzentropie statt der KL-Divergenz bewertet werden: KL benötigt die wahre Verteilung, die niemand kennt, während die Kreuzentropie nur die Wahrscheinlichkeit des Modells für den tatsächlich aufgetretenen Text benötigt. Die Minimierung des einen minimiert das andere, da die Differenz eine Konstante ist, auf die das Modell keinen Einfluss hat.

$D_{KL} = H (P, Q) - H (P) \geq 0 : the wrong model costs 2^{1.21} = 2.32 \times$

Quellen (3)

Entropy and cross-entropy, at the source: C. E. Shannon, "A Mathematical Theory of Communication." Bell System Technical Journal 27, 379–423, 1948.
KL divergence, in the paper that defined it: S. Kullback & R. A. Leibler, "On Information and Sufficiency." The Annals of Mathematical Statistics 22, 79–86, 1951.
Perplexity, introduced as a measure of task difficulty long before language models: F. Jelinek, R. L. Mercer, L. R. Bahl & J. K. Baker, "Perplexity — a measure of the difficulty of speech recognition tasks." Journal of the Acoustical Society of America 62, S63, 1977.

Vom 42Math-Team · Aktualisiert 2026-05-09

Anhand veröffentlichter Quellen geprüft. Korrekturen willkommen. Redaktionsrichtlinie · Korrekturen

Alle Lektionen: Informatik →

Beispielaufgaben

Vulkanischer Gruß (gleichverteilt) - Sechzehn Token aus sechs Typen: Die Entropie beträgt 2,50 Bit, die Perplexität 5,66. Trotz des Namens sind das hier die niedrigsten Werte. Der Vergleichstext ist identisch, daher beträgt die KL-Divergenz genau 0.
Trump-Rhetorik (repetitiv) - Achtundzwanzig Token aus fünfzehn Typen ergeben eine Entropie von 3,59 und eine Perplexität von 12,08. Das liegt über den Werten für gleichverteilte Wörter, denn „wiederholt“ meint hier wiederkehrende Formulierungen und keinen kleinen Wortschatz.
Star-Trek-Monolog (natürlich) - Achtunddreißig Token aus zweiunddreißig Typen: Die Entropie beträgt 4,87 Bit, die Perplexität 29,29. Das sind die höchsten Werte im Werkzeug. Mit diesen Daten arbeitet die Beispielaufgabe.
Science-Fiction vs. Politik (Domänenwechsel) - Die Entropie beträgt 4,01, die Perplexität 16,13. Der Vergleichstext stammt aus einem anderen Themengebiet. Dadurch steigt die Kreuzentropie über die Entropie; die Differenz zwischen beiden ist die KL-Divergenz.