Esta es una traducción automática y la versión original está en inglés. Leer el original
La mitad del japonés escrito son 158 caracteres. El 45 % siguiente cuesta mil más.
100 kanji otorgan el 40,74 % de un corpus. 872 otorgan el 90 %. Los siguientes cinco puntos porcentuales cuestan otros 290.
La kanji frequency tool se ejecuta sobre un corpus de 709.707 apariciones de kanji procedentes de 60 obras literarias. Al preguntarle qué proporción de ese texto se puede leer con un número determinado de caracteres, responde:
- los 100 kanji más comunes — 40,74 % de todas las apariciones
- 158 kanji — 50,11 %, la mitad del texto
- 872 kanji — 90,02 %
- 1.162 kanji — 95,00 %
- los 2.136 — 100 %
Al leer esa columna hacia abajo, la forma es inconfundible. Los primeros cien caracteres otorgan 40 puntos porcentuales. Los 772 siguientes otorgan 49. Los 290 posteriores otorgan cinco. Y los últimos 974 caracteres —casi la mitad de la lista completa— otorgan el cinco por ciento final.
La misma curva en todos los idiomas
Se trata de la ley de Zipf, y su persistencia es lo que resulta sorprendente. Si se clasifican las palabras de un texto extenso por frecuencia, la frecuencia de la palabra en la posición r disminuye aproximadamente como 1/r: la segunda palabra más frecuente aparece cerca de la mitad de veces que la primera; la décima, cerca de una décima parte; la centésima, cerca de una centésima parte.
Se cumple para el inglés, para los kanji del japonés, para el latín, para lenguas sin tradición escrita hasta que un lingüista llegó con una grabadora. Se cumple para los lenguajes de programación. Se cumple, de forma aproximada, para el tamaño de las ciudades, las visitas a sitios web y los apellidos.
Lo que no tiene es una explicación consensuada. La revisión de Piantadosi de 2014 es el análisis más honesto: el patrón está fuera de toda duda y cada mecanismo propuesto —optimización de la comunicación, escritura aleatoria, conexión preferencial, estructura semántica— o bien fracasa al predecir los detalles, o bien los predice al tiempo que predice cosas que son falsas. Es una de las regularidades mejor documentadas en el estudio del lenguaje y nadie sabe decir por qué está ahí.
Cómo se percibe desde dentro
La curva posee una huella psicológica, y cualquiera que haya estudiado un idioma ha experimentado sus dos extremos.
El comienzo es eufórico. Cien caracteres —el trabajo de dos semanas— y el 40 % del texto deja de ser un muro. El progreso parece acelerarse porque cada carácter nuevo es verdaderamente frecuente: vuelve a encontrarse en la misma página.
Luego se aplana, de forma brutal. La herramienta muestra el complemento como la «probabilidad de que el siguiente kanji sea desconocido», y esa cifra constituye la mejor guía de cómo se siente realmente la lectura. Con 100 caracteres conocidos, uno de cada 1,7 kanji te detiene. Con 872, es uno de cada 10. Con 1.162, uno de cada 20; lo que suena a fluidez, pero no lo es: a veinte caracteres por oración, eso supone un tropiezo en cada frase.
El tramo final es donde los estudiantes se rinden, y la curva explica por qué sin necesidad de apelar a la motivación. Los caracteres finales son raros por definición: se puede estudiar uno y no volver a encontrarlo en una semana, que es exactamente la condición bajo la cual la memoria falla. El esfuerzo por carácter no aumenta: el refuerzo por carácter se desmorona.
Por qué importa a las máquinas
Esa misma asimetría determina cómo los modelos de lenguaje dividen el texto.
Un vocabulario debe ser finito, y una distribución de Zipf implica que la mayor parte de la masa de probabilidad se concentra en un puñado de elementos, dejando una cola interminable de elementos raros. Si se asigna a cada palabra su propio token, la cola resulta inservible: millones de entradas, cada una vista un puñado de veces y cada una imposible de aprender. Si se asigna a los caracteres su propio token, las palabras comunes malgastan una docena de posiciones cada una.
La tokenización de subpalabras es la solución de compromiso, y la tokenizer tool muestra el resultado: las palabras frecuentes sobreviven como tokens individuales, mientras que las raras se fragmentan. Eso es la curva de frecuencia convertida en una estructura de datos. Es también la razón por la que un modelo maneja a la perfección «the» y mal un apellido raro; no porque el apellido sea más difícil, sino porque se sitúa en la parte de la distribución donde nunca hubo suficientes datos.
Y marca el límite superior de la compresión. La entropy lab mide la sorpresa del siguiente símbolo, y una distribución asimétrica es una distribución de baja entropía: si unos pocos caracteres dominan, se pueden codificar en menos bits, que es exactamente lo que aprovecha un compresor. La ley de Zipf es la razón por la que el texto se comprime tan bien, y la tabla de cobertura anterior es ese mismo hecho contabilizado en caracteres en lugar de bits.
Una cifra que conviene recordar: con una cobertura del 95 %, uno de cada veinte kanji sigue siendo desconocido. La curva es generosa al principio y despiadada al final, y ambas mitades responden a la misma ley.