Lektion
Die Theorie — Kanji-Häufigkeit & Wahrscheinlichkeits-Explorer
Dies ist eine Frage der Abdeckung, nicht des bloßen Zählens: Wenn einige wenige Zeichen ständig verwendet werden und die meisten nur selten – wie viele der häufigsten muss man kennen, um einen bestimmten Anteil alles Geschriebenen zu erkennen? Die Antwort lautet: weit weniger als die Gesamtzahl, und der Grund dafür ist, dass die Zeichenhäufigkeit extrem ungleichmäßig verteilt ist.
Was die einzelnen Symbole bedeuten
rank- die Position eines Zeichens, wenn alle nach ihrer Auftretenshäufigkeit sortiert sind. Rang 1 ist das häufigste Zeichen.
coverage- der Anteil aller Vorkommen, der durch alle Zeichen bis zu einem bestimmten Rang abgedeckt wird — eine fortlaufende Summe der Häufigkeit, keine Anzahl von Zeichen.
required- wie viele der häufigsten Zeichen man für eine Ziel-Abdeckung benötigt. Die Tabelle oben wandelt eine gewählte Abdeckung in diese Anzahl um.
known- wie viele Zeichen als bereits bekannt angenommen werden; die Seite nutzt diesen Wert, um die aktuelle Abdeckung anzugeben.
So liest du, was du siehst
Die Tabelle liest sich wie eine Preisliste für Sprachfertigkeit: 50% Abdeckung kosten 158 Kanji, 80% kosten 558, 90% kosten 872, 95% kosten 1,162 und 99% kosten 1,651. Liest man eher die Abstände als die Zeilen, zeigt sich die Struktur der Sprache.
- Setzt voraus
- Ein fester Korpus. Häufigkeit ist eine Eigenschaft der gezählten Texte, nicht der Sprache im Abstrakten — ein Zeitungskorpus, ein Manga-Korpus und ein Gesetzestext-Korpus würden jeweils das Ende der Rangliste neu ordnen und jede Zahl in dieser Tabelle verschieben.
- Versagt, wenn
- Der Ertrag bricht ein — und zwar so deutlich, dass man seine Lernstrategie darauf ausrichten sollte. Die ersten
158Zeichen bringen die Hälfte von allem. Der Sprung von 90 % auf 95 % kostet weitere290Zeichen, und das letzte 1 % — von 99 % Abdeckung bis zur Vollständigkeit — kostet mehr als die gesamte Strecke von 50 % bis 90 %. Es gibt keinen Rang, an dem das Verteilungsende erreicht ist, sondern nur einen Punkt, an dem jedes weitere Zeichen die aufgewendete Stunde nicht mehr wert ist.
Aufgabe vollständig gelöst
-
500 Kanji, die 77,39% Abdeckung dieses Korpus ergeben 6 Schritte
500 Kanji decken 77,39 % dieses Korpus ab. Ermitteln Sie, was das für eine Textseite bedeutet und was es kostet, die Lücke zu schließen.
-
Abdeckung und ihr Komplement beschreiben denselben Sachverhalt. Der Kehrwert des Komplements ist der mittlere Abstand zwischen unbekannten Zeichen — und genau diese Form zeigt, wie sich das Lesen tatsächlich anfühlt.
-
Rechnen Sie das auf ein ganzes Werk hoch. Der Korpus-Kopfbereich gibt die Anzahl der Vorkommen und die Anzahl der Werke an, sodass die Rechnung ohne externe Angaben auskommt.
-
Nun zur Kostenkurve. Das Bedienfeld führt die für fünf Abdeckungsziele erforderliche Kanji-Anzahl auf; die interessante Größe ist die Differenz zwischen aufeinanderfolgenden Zeilen.
-
Teilen Sie den Gewinn an Abdeckung durch die eingesetzten Kanji. Die Rate halbiert sich zwischen den beiden Intervallen.
-
Der Rest der Jōyō-Liste bildet den Extremfall: ein Fünftel der Zeichen für ein Hundertstel des Textes.
-
Kehren Sie das Ziel um. Beim Lesen nur ein unbekanntes Zeichen pro Werk statt eines alle 4,4 Kanji entspricht einer Abdeckungsquote mit vier Neunen, die keine feste Liste von 2.136 Zeichen liefern kann.
Antwort
Im Schnitt begegnet dir alle 4,4 Zeichen ein unbekanntes Kanji, und jedes Kanji im letzten 1 % kostet achtmal so viel Lernaufwand wie eines auf dem Weg von 90 % auf 95 %. Mit den ersten 158 Kanji erschließt du dir die Hälfte des Korpus. Die 290 Kanji zwischen 90 % und 95 % bringen jeweils 0,017 Prozentpunkte, die 489 zwischen 95 % und 99 % jeweils 0,008. Die übrigen 485 bringen nur noch 0,002: ein Fünftel des Schriftsystems für ein Hundertstel des Textes. Genau diesen Verlauf zeigt eine Häufigkeitsverteilung mit langem Ausläufer. Er bestimmt auch, wo sich das Lernen einer Sprache besonders lohnt. Die ersten tausend Schriftzeichen gehören zu den lohnendsten Lerninvestitionen überhaupt; die letzten fünfhundert sind etwas für Menschen, denen es um Vollständigkeit geht. Das erklärt zugleich, warum sich eine Abdeckung von 77 % nicht nach 77 % anfühlt. Wenn dir alle 4,4 Zeichen ein Kanji fehlt, stolperst du in einem durchschnittlichen Werk dieses Korpus ungefähr 2.700-mal. Mit Lesen hat das wenig zu tun.
-
Quellen (2)
- The corpus every number here is counted from — a sample of public-domain Japanese literary works: Aozora Bunko (青空文庫), public-domain Japanese texts. Counts restricted to the Jōyō kanji set.
- Per-character metadata (readings, grade, stroke count): KANJIDIC2, Electronic Dictionary Research and Development Group (EDRDG), used under CC BY-SA 4.0.