Il s'agit d'une traduction automatique ; la version originale est en anglais. Lire l'original
La moitié du japonais écrit tient en 158 caractères. Les 45 % suivants en exigent un millier de plus.
100 kanjis permettent de couvrir 40,74 % d'un corpus. 872 en couvrent 90 %. Les cinq points de pourcentage suivants en exigent 290 de plus.
Le kanji frequency tool repose sur un corpus de 709 707 occurrences de kanjis issues de 60 œuvres littéraires. Demandez-lui quelle proportion de ce texte vous pouvez lire pour un nombre donné de caractères, et il répond :
- les 100 kanjis les plus fréquents — 40,74 % de toutes les occurrences
- 158 kanjis — 50,11 %, soit la moitié du texte
- 872 kanjis — 90,02 %
- 1 162 kanjis — 95,00 %
- la totalité des 2 136 — 100 %
Lisez cette colonne vers le bas et la forme est inconfondable. Les cent premiers caractères apportent 40 points de pourcentage. Les 772 suivants en apportent 49. Les 290 d'après en apportent cinq. Et les 974 derniers caractères — presque la moitié de la liste complète — apportent les derniers cinq pour cent.
La même courbe dans toutes les langues
Il s'agit de la loi de Zipf, et sa persistance constitue l'aspect le plus curieux. Classez les mots de n'importe quel texte volumineux par ordre de fréquence, et la fréquence du mot au rang r décroît approximativement en 1/r : le deuxième mot le plus fréquent apparaît environ deux fois moins souvent que le premier, le dixième environ dix fois moins souvent, le centième environ cent fois moins souvent.
Elle se vérifie pour l'anglais, pour les kanjis japonais, pour le latin, pour les langues dépourvues de tradition écrite jusqu'à l'arrivée d'un linguiste muni d'un enregistreur. Elle se vérifie pour les langages de programmation. Elle se vérifie, à peu près, pour la taille des villes, les visites de sites web et les noms de famille.
Ce qu'elle n'a pas, en revanche, c'est une explication faisant consensus. L'étude de synthèse de Piantadosi (2014) établit un constat lucide : la régularité est incontestable et chaque mécanisme proposé — optimisation de la communication, frappe aléatoire, attachement préférentiel, structure sémantique — échoue à prédire les détails ou les prédit tout en prédisant également des faits erronés. C'est l'une des régularités les mieux documentées de la linguistique, et personne n'est en mesure d'en expliquer l'origine.
Ce que l'on ressent de l'intérieur
La courbe possède une signature psychologique, et quiconque a étudié une langue en a ressenti les deux extrémités.
Le début est euphorique. Une centaine de caractères — deux semaines de travail — et 40 % du texte cessent de former un mur. Le progrès semble s'accélérer parce que chaque nouveau caractère est réellement fréquent ; on le recroise sur la même page.
Puis elle s'aplanit, brutalement. L'outil affiche le complément sous la forme « probabilité que le kanji suivant soit inconnu », et ce nombre constitue le meilleur indicateur de la réalité ressentie lors de la lecture. À 100 caractères connus, un kanji sur 1,7 vous arrête. À 872, c'est un sur 10. À 1 162, un sur 20 — ce qui ressemble à la fluidité sans en être une : à raison de vingt caractères par phrase, cela représente un trébuchement à chaque phrase.
C'est dans la dernière ligne droite que les apprenants abandonnent, et la courbe en explique la raison sans qu'il soit besoin d'invoquer la motivation. Les derniers caractères sont rares par définition : on peut en étudier un et ne plus le recroiser pendant une semaine, ce qui correspond exactement aux conditions dans lesquelles la mémoire flanche. L'effort par caractère n'augmente pas — c'est le renforcement par caractère qui s'effondre.
Pourquoi les machines s'y intéressent
C'est ce même déséquilibre qui détermine la façon dont les modèles de langage découpent le texte.
Un vocabulaire doit être fini, et une distribution de Zipf implique que l'essentiel de la masse de probabilité se concentre sur une poignée d'éléments, avec une traîne infinie d'éléments rares. Si l'on attribue à chaque mot son propre jeton, cette traîne devient inexploitable — des millions d'entrées, aperçues chacune une poignée de fois, impossibles à apprendre. Si l'on attribue aux caractères leurs propres jetons, les mots fréquents gâchent une douzaine d'emplacements chacun.
La tokenisation par sous-mots constitue le compromis, et le tokenizer tool en montre le résultat : les mots fréquents subsistent sous forme de jetons uniques, tandis que les mots rares se fragmentent. C'est la courbe de fréquence convertie en structure de données. C'est aussi la raison pour laquelle un modèle traite parfaitement « the » et très mal un nom de famille rare — non pas parce que ce nom est plus difficile, mais parce qu'il se situe dans la partie de la distribution où les données n'ont jamais été suffisantes.
Elle fixe également le plafond de la compression. Le entropy lab mesure le degré de surprise du symbole suivant, et une distribution dissymétrique présente une faible entropie : si quelques caractères prédominent, vous pouvez les coder avec moins de bits, ce qu'exploite précisément un algorithme de compression. C'est la loi de Zipf qui explique pourquoi le texte se compresse aussi bien, et le tableau de couverture ci-dessus exprime cette même réalité en caractères plutôt qu'en bits.
Un chiffre à retenir : à 95 % de couverture, un kanji sur vingt reste inconnu. La courbe se montre généreuse au début et impitoyable à la fin, et ces deux moitiés relèvent de la même loi.