漢字頻度・確率エクスプローラー

これは単に文字数を数える問題ではなく、カバー率についての問いです。ごく一部の文字が頻繁に使われ、大半の文字はめったに使われないという状況において、書かれた文章全体の一定割合を理解するには、頻出上位の文字を何文字覚える必要があるでしょうか。その答えは全文字数よりもはるかに少なく、その理由は文字の出現頻度が極めて偏っているからです。

各記号の意味

rank

出現頻度の高い順にすべての文字を並べたときの、ある文字の順位。順位 1 が最も頻出する文字です。

coverage

ある順位までの文字が占める全出現回数の割合 — 文字の個数ではなく、出現頻度の累積合計です。

required

目標とするカバー率を達成するために必要な、頻出上位の文字数。上の表は、選択したカバー率をその文字数に変換します。

known

すでに覚えていると仮定する文字数。このページではこれを用いて、現在の推定カバー率を表示します。

表示の読み方

この表は語学力の価格表のように読むことができます。50% のカバー率に必要なコストは 158 漢字、80% は 558、90% は 872、95% は 1,162、そして 99% は 1,651 です。行そのものよりも行間の差に着目すると、言語の構造が見えてきます。

前提

単一の固定されたコーパスを前提としています。出現頻度とは抽象的な言語そのものの性質ではなく、集計対象となったテキストの性質です — 新聞コーパス、マンガコーパス、法律文書コーパスでは、それぞれ末尾の順位が入れ替わり、表の中のすべての数値が変動します。

成り立たない場合

学習のリターン（費用対効果）は急減しますが、その減衰の仕方は計画を立てる上で非常に有益です。最初の 158 文字で全体の半分をカバーできます。カバー率を 90% から 95% に上げるにはさらに 290 文字が必要であり、最後の 1% — 99% カバー率から完全達成まで — にかかるコストは、50% から 90% までの道のり全体よりも大きくなります。ロングテールが途切れる順位というものは存在せず、1文字追加で覚えるために費やす1時間の価値が見合わなくなる点が存在するだけです。