エントロピー符号化プレイグラウンド

エントロピー符号化は統計的な冗長性を利用して、メッセージをより少ないビットで表現します。シャノンの情報源符号化定理によれば、あらゆる無損失符号の絶対的な最小平均長はシャノンエントロピーです: $H(X) = -\sum p_i \log_2 p_i$。ハフマン符号化は、シンボルを個別に符号化する場合の与えられたアルファベットに対して最適ですが、整数長の符号語に制約されます。この整数制約により、ハフマンは理論上のエントロピーから最大0.086ビット/シンボルずれる可能性があります(あるシンボルの$p_i \approx 1$の場合はさらに大きくずれます)。算術符号化(ANSなど)は、シーケンス全体を小数区間にマッピングすることでこの限界を克服します。

LLMとAIとのつながり: 現代の言語モデル(LLM)では、エントロピーは学習と生成の両方における中核概念です。LLMは、語彙予測と実際のテキストとの間の交差エントロピー損失を最小化することで学習されます。生成(推論)時には、LLMは次のトークンについて語彙全体にわたる確率分布を出力します。この分布のエントロピーはモデルの予測の不確実性を測るもので、平坦な分布(高エントロピー)は創造的またはランダムなテキストを生み、鋭い分布(低エントロピー)は非常に予測可能なテキストを生みます。温度(Temperature)などのサンプリングパラメータはこのエントロピーを直接スケーリングし(温度を下げるとエントロピーが減り、上げると増えます)、nucleusサンプリング(Top-p)は累積確率を動的に制限して高エントロピーの裾を切り落とします。

このツールの本当の教訓は、記号を符号化する理想的なビット数がその「意外性」、つまり −log₂ p だということです。半分の確率で現れる記号は1ビット、1000回に1回の記号は約10ビットに値します。エントロピーとは、全記号にわたるこの意外性の平均にすぎません。だからラプラス分布や指数分布のような偏った分布はよく圧縮できますが、一様な記号集合は圧縮できません。すべてが等確率なら、取り除くべき冗長性が存在しないのです。

モールス符号は、最も短い信号である単一の点を英語で最頻の文字 E に割り当て、Q や Z のような珍しい文字には長い並びを割り当てました。長さを決めるため、アルフレッド・ヴェイルは印刷所の活字ケースにある活字を数えて文字の出現頻度を推定したと言われます。これは1840年代に実際に機能していた可変長符号化であり、シャノンが1948年にその仕組みを理論的に定式化するおよそ一世紀前のことでした。