NLPエントロピー・ラボ

トークンの確率分布、シャノンエントロピー、パープレキシティ、交差エントロピー、KLダイバージェンスを可視化する — AIの大規模言語モデル(LLM)の学習と評価に使われる基本的な数学的指標。

計算例 — NLPエントロピー・ラボ

トークン化モード	単語
テキストAのトークン数 (N_A) & テキストAの語彙数 (\|V_A\|)	32
テキストBのトークン数 (N_B) & テキストBの語彙数 (\|V_B\|)	18
シャノンエントロピー H(P)	4.87254 bits
パープレキシティ PP(P)	29.2942
ラプラススムージング(参照B)	46
交差エントロピー H(P, Q)	6.08388 bits
KLダイバージェンス D_KL(P \|\| Q)	1.21134 bits

ページを開いたときに計算機が表示する値です。上の入力を変えると再計算されます。

インタラクティブシミュレーションを読み込んでいます...

交差エントロピーの最小化は、次のトークンを予測することと同じである 🖖

言語モデルが交差エントロピーを学習の目的にするのは、慣習ではなく恒等式に基づいています。交差エントロピーは、データのエントロピーと、データ分布からモデル分布へのKLダイバージェンスの和です。したがってデータが固定されていれば、交差エントロピーを下げることはKLダイバージェンスを下げることにほかなりません。自然なZipf分布を読み込んでみましょう。エントロピーは4.87ビット、交差エントロピーは6.08。その差1.21が、まさにKLダイバージェンスです。パープレキシティは同じ量を捉えやすい尺度に直したもので、2^4.87 = 29.29となります。KLダイバージェンスはRLHFでも、調整後のモデルを元のモデルから離れすぎないようにするペナルティとして現れます。

エントロピーが測るのは「驚き」 🖖

エントロピーはテキストがどれだけ予測しにくいか、つまり各トークンが持つ平均的な「驚き」を表します。パープレキシティはそれを直感的な数値に変換し、値が8なら、モデルは平均して8語から一様に選ぶのと同じくらい迷っていることを意味します。繰り返しの多いプロンプトと多彩な文章を比べると、予測しやすい文章は低く、多様な文章は高くパープレキシティが上がる様子がわかります。

シャノンは英語を当てゲームで測った 🖖

1951年、クロード・シャノンは英語のエントロピーをコンピュータではなく人間を使って推定しました。被験者に隠された文章の次の文字を当てさせ、その的中率から英語を1文字あたり約0.6〜1.3ビットと絞り込んだのです。この数値は今なお基準であり、現代のLLMは文字あたりのパープレキシティがこの人間由来の限界にどれだけ近づけるかで、70年経った今も評価されています。

全プロセスの詳細解説

パネル上の4つのエントロピー数値の由来 5 ステップ
エントロピー 4.87 bits、パープレキシティ 29.29、交差エントロピー 6.08、KLダイバージェンス 1.21。パネルに表示された4つの数値のうち、独立しているものは2つだけである。これらを結びつける2つの正確な関係式を求めよ。
1. エントロピーとは、bits 単位で測定された真の分布の平均的な驚き（サプライズ）であり、このテキストに対して最適に符号化した場合に、トークンあたり必要となる「はい/いいえ」の質問の数である。
  
  $H (P) = - i \sum p_{i} lo g_{2} p_{i} = 4.87254 bits$
2. パープレキシティは、それをより分かりやすい尺度 — エントロピーに対する2の累乗 — に換算したにすぎない。「同等に確からしい選択肢が何個あれば、これと同じ不確実さを感じるか？」という問いに答えるものであり、29.29 という数値のほうが 4.87 bits よりもイメージしやすい。
  
  $PP (P) = 2^{H (P)} = 2^{4.87254} = 29.2942$
3. 交差エントロピーとは、別の分布のために作られた符号を用いて真の分布を符号化する際のコストである。P に対する最適符号は最適であるため、交差エントロピーがエントロピーを下回ることは決してない。
  
  $H (P, Q) = - i \sum p_{i} lo g_{2} q_{i} = 6.08388 bits$
4. その余剰分が KLダイバージェンスであり、これは独立した計算ではなく、引き算そのものである。表示された最後の桁まで含めて 6.08388 − 4.87254 = 1.21134 となる。
  
  $D_{KL} (P ∥ Q) = H (P, Q) - H (P) = 6.08388 - 4.87254 = 1.21134$
5. その余剰分を指数乗することで、実質的なコストが明らかになる。2^1.21 は 2.32 であるため、誤ったモデルを使用することは、単語あたりの選択肢が 2.32 倍に増えることに相当する — すなわち 29.29 は 67.8 に増加する。
  
  $2^{D_{KL}} = 2^{1.21134} = 2.32 ⟹ 29.29 \to 67.8 effective choices$
解答

ツールには H = 4.87254、PP = 29.2942、H(P,Q) = 6.08388、および D_KL = 1.21134 と表示される。「パープレキシティは 2^H である」および「KLは交差エントロピーマイナスエントロピーである」という2つの恒等式は、あらゆる分布のペアに対して成り立つため、受け取ったどのようなモデルレポートに対しても実行できる検証となる。また、これらは言語モデルの評価に KL ではなく交差エントロピーが用いられる理由を説明している。KL には誰も持ち得ない真の分布が必要であるのに対し、交差エントロピーは実際に発生したテキストに対するモデルの確率のみを必要とするからである。両者の差分はモデルが関与できない定数であるため、一方を最小化することは他方を最小化することを意味する。

$D_{KL} = H (P, Q) - H (P) \geq 0 : the wrong model costs 2^{1.21} = 2.32 \times$

参考文献 (3)

Entropy and cross-entropy, at the source: C. E. Shannon, "A Mathematical Theory of Communication." Bell System Technical Journal 27, 379–423, 1948.
KL divergence, in the paper that defined it: S. Kullback & R. A. Leibler, "On Information and Sufficiency." The Annals of Mathematical Statistics 22, 79–86, 1951.
Perplexity, introduced as a measure of task difficulty long before language models: F. Jelinek, R. L. Mercer, L. R. Bahl & J. K. Baker, "Perplexity — a measure of the difficulty of speech recognition tasks." Journal of the Acoustical Society of America 62, S63, 1977.

42Math チーム · 更新 2026-05-09

公表された資料と照合しています。訂正のご指摘を歓迎します。編集方針 · 訂正

コンピューティングのレッスン一覧 →

例題

バルカン式の挨拶(一様分布) - 六種類、計十六トークン。エントロピーは2.50ビット、パープレキシティは5.66で、名称から受ける印象とは違い、ここでは最小です。比較テキストが同一なので、KLダイバージェンスはちょうど0になります。
トランプ節(反復的) - 十五種類、計二十八トークンで、エントロピーは3.59、パープレキシティは12.08です。「均等な単語」より高いのは、ここでいう反復が語彙の少なさではなく、句の繰り返しを指すためです。
スタートレックの独白(自然) - 三十二種類、計三十八トークン。エントロピーは4.87ビット、パープレキシティは29.29で、このツールでは最大です。例題ではこの状態を扱います。
SF vs 政治(ドメインシフト) - エントロピーは4.01、パープレキシティは16.13です。比較テキストには別分野の文章を使っています。この分布のずれによって交差エントロピーがエントロピーを上回り、その差がKLダイバージェンスになります。