Dies ist eine maschinelle Übersetzung; das englische Original ist maßgebend. Original lesen
Die Hälfte des geschriebenen Japanisch machen 158 Zeichen aus. Die nächsten 45 % kosten tausend weitere.
100 Kanji bringen 40,74 % eines Korpus. 872 bringen 90 %. Die nächsten fünf Prozentpunkte kosten weitere 290.
Das kanji frequency tool basiert auf einem Korpus von 709.707 Kanji-Vorkommen aus 60 literarischen Werken. Fragt man es, wie viel dieses Textes man mit einer bestimmten Anzahl von Zeichen lesen kann, antwortet es:
- die 100 häufigsten Kanji — 40,74 % aller Vorkommen
- 158 Kanji — 50,11 %, die Hälfte des Textes
- 872 Kanji — 90,02 %
- 1.162 Kanji — 95,00 %
- alle 2.136 — 100 %
Liest man diese Spalte von oben nach unten, ist der Verlauf unverkennbar. Die ersten hundert Zeichen erbringen 40 Prozentpunkte. Die nächsten 772 bringen 49. Die 290 danach bringen fünf. Und die letzten 974 Zeichen — fast die Hälfte der gesamten Liste — erbringen die verbleibenden fünf Prozent.
Dieselbe Kurve in jeder Sprache
Das ist das Zipfsche Gesetz, und seine Beständigkeit ist das Erstaunliche daran. Ordnet man die Wörter eines beliebigen langen Textes nach ihrer Häufigkeit, fällt die Häufigkeit des Wortes auf Rang r ungefähr wie 1/r ab: Das zweithäufigste Wort erscheint etwa halb so oft wie das häufigste, das zehnte etwa ein Zehntel so oft, das hundertste etwa ein Hundertstel.
Es gilt für das Englische, für japanische Kanji, für das Lateinische, für Sprachen ohne Schrifttradition, bis ein Linguist mit einem Aufnahmegerät ankam. Es gilt für Programmiersprachen. Es gilt, näherungsweise, für Stadtgrößen, Website-Besuche und Nachnamen.
Was ihm hingegen fehlt, ist eine allgemein anerkannte Erklärung. Piantadosis Übersichtsarbeit aus dem Jahr 2014 bietet eine ehrliche Bestandsaufnahme: Das Muster ist unbestritten, doch jeder vorgeschlagene Mechanismus — Optimierung der Kommunikation, zufälliges Tippen, bevorzugtes Anbinden, semantische Struktur — scheitert entweder daran, die Details vorherzusagen, oder sagt sie voraus, während er zugleich falsche Dinge vorhersagt. Es ist eine der am besten dokumentierten Gesetzmäßigkeiten in der Sprachwissenschaft, und niemand kann erklären, warum sie existiert.
Wie es sich von innen heraus anfühlt
Die Kurve besitzt eine psychologische Signatur, und jeder, der eine Sprache gelernt hat, hat beide Enden davon gespürt.
Der Anfang ist euphorisch. Hundert Zeichen — die Arbeit von zwei Wochen — und 40 % des Textes sind keine Wand mehr. Der Fortschritt fühlt sich beschleunigt an, weil jedes neue Zeichen tatsächlich häufig ist; man begegnet ihm auf derselben Seite wieder.
Dann flacht sie brutal ab. Das Tool gibt das Komplement als „Wahrscheinlichkeit, dass das nächste Kanji unbekannt ist“ aus, und diese Zahl ist der bessere Orientierungspunkt dafür, wie sich das Lesen tatsächlich anfühlt. Bei 100 bekannten Zeichen bremst einen ein Kanji von 1,7 aus. Bei 872 ist es eines von 10. Bei 1.162 eines von 20 — was nach flüssigem Lesen klingt, es aber nicht ist: Bei zwanzig Zeichen pro Satz bedeutet das ein Stolpern in jedem Satz.
Auf der letzten Etappe geben die Lernenden auf, und die Kurve erklärt den Grund dafür ganz ohne Verweis auf die Motivation. Die letzten Zeichen sind per Definition selten: Man kann eines lernen und ihm eine Woche lang nicht mehr begegnen — genau die Bedingung, unter der das Gedächtnis versagt. Der Aufwand pro Zeichen steigt nicht — die Festigung pro Zeichen bricht ein.
Warum das für Maschinen von Bedeutung ist
Dieselbe Ungleichheit entscheidet darüber, wie Sprachmodelle Text zerlegen.
Ein Vokabular muss endlich sein, und eine Zipf-Verteilung bedeutet, dass der Großteil der Wahrscheinlichkeitsmasse auf einer Handvoll Elemente liegt, gefolgt von einem endlosen Rattenschwanz seltener Elemente. Weist man jedem Wort ein eigenes Token zu, wird dieser Rattenschwanz unbrauchbar — Millionen von Einträgen, jeder nur ein paar Mal gesehen, jeder unmöglich zu lernen. Weist man Zeichen eigene Tokens zu, verschwenden häufige Wörter jeweils ein Dutzend Plätze.
Die Subword-Tokenisierung bildet den Kompromiss, und das tokenizer tool zeigt das Ergebnis: Häufige Wörter bleiben als einzelne Tokens erhalten, seltene zersplittern in Fragmente. Das ist die Häufigkeitskurve, überführt in eine Datenstruktur. Es ist auch der Grund, warum ein Modell mit „the“ perfekt umgeht und mit einem seltenen Nachnamen schlecht — nicht etwa, weil der Nachname schwerer wäre, sondern weil er in dem Teil der Verteilung liegt, in dem es nie ausreichend Daten gab.
Und sie setzt der Kompression die Obergrenze. Das entropy lab misst, wie überraschend das nächste Symbol ist, und eine schiefe Verteilung besitzt eine geringe Entropie: Wenn einige wenige Zeichen dominieren, kann man sie mit weniger Bits kodieren — genau das macht sich ein Kompressionsverfahren zunutze. Das Zipfsche Gesetz ist der Grund, warum sich Text überhaupt gut komprimieren lässt, und die obige Abdeckungstabelle ist dieselbe Tatsache, gezählt in Zeichen statt in Bits.
Eine Zahl, die man mitnehmen sollte: Bei 95 % Abdeckung ist noch immer eines von zwanzig Kanji unbekannt. Die Kurve ist zu Beginn großzügig und am Ende erbarmungslos — und beide Hälften gehorchen demselben Gesetz.