Entropiecodierungs-Playground

Entropiecodierung nutzt statistische Redundanz, um Nachrichten mit möglichst wenigen Bits darzustellen. Shannons Quellencodierungssatz besagt, dass die absolute Mindestlänge jedes verlustfreien Codes im Mittel der Shannon-Entropie entspricht: $H(X) = -\sum p_i \log_2 p_i$. Die Huffman-Codierung ist optimal für ein gegebenes Alphabet, wenn Symbole einzeln codiert werden, ist aber auf ganzzahlige Codewortlängen beschränkt. Diese Ganzzahlbeschränkung bedeutet, dass Huffman um bis zu 0,086 Bit/Symbol von der theoretischen Entropie abweichen kann (und deutlich mehr, wenn ein Symbol $p_i \approx 1$ hat). Arithmetische Codierung (z. B. ANS) überwindet diese Grenze, indem sie die gesamte Sequenz auf gebrochene Intervalle abbildet.

Bezug zu KI-Sprachmodellen: In modernen Sprachmodellen (LLMs) ist Entropie ein zentrales Konzept sowohl beim Training als auch bei der Generierung. LLMs werden trainiert, indem der Kreuzentropie-Verlust zwischen ihren Vokabularvorhersagen und dem tatsächlichen Text minimiert wird. Bei der Generierung (Inferenz) gibt das LLM eine Wahrscheinlichkeitsverteilung über sein Vokabular für das nächste Token aus. Die Entropie dieser Verteilung misst die Vorhersageunsicherheit des Modells: Eine flache Verteilung (hohe Entropie) erzeugt kreativen oder zufälligen Text, während eine spitze Verteilung (niedrige Entropie) hochgradig vorhersagbaren Text erzeugt. Sampling-Parameter wie die Temperatur skalieren diese Entropie direkt (niedrigere Temperatur verringert die Entropie, höhere Temperatur erhöht sie), während Nucleus-Sampling (Top-p) die kumulative Wahrscheinlichkeit dynamisch begrenzt, um Ausläufer mit hoher Entropie abzuschneiden.

Die eigentliche Lektion dieses Tools: Die ideale Bitzahl für ein Symbol ist sein Überraschungswert, −log₂ p. Ein Symbol, das in der Hälfte der Fälle auftritt, verdient 1 Bit; eines mit Wahrscheinlichkeit 1 zu 1000 rund 10 Bit. Die Entropie ist einfach der durchschnittliche Überraschungswert über alle Symbole. Deshalb lassen sich schiefe Verteilungen (wie die Laplace- oder Exponential-Voreinstellung) gut komprimieren, ein gleichverteiltes Alphabet dagegen nicht — bei Gleichverteilung gibt es keine Redundanz zu entfernen.

Der Morsecode ordnete das kürzeste Zeichen, einen einzelnen Punkt, dem E zu, dem häufigsten Buchstaben im Englischen, und lange Folgen den seltenen wie Q und Z. Um die Längen festzulegen, zählte Alfred Vail angeblich die Lettern im Setzkasten einer Druckerei, um die Buchstabenhäufigkeiten zu schätzen. Das war funktionierende Codierung mit variabler Länge in den 1840er-Jahren — rund ein Jahrhundert bevor Shannon 1948 formalisierte, warum sie funktioniert.