Esta é uma tradução automática, sendo o original em inglês. Ler o original
Metade do japonês escrito são 158 caracteres. Os 45% seguintes custam mais mil.
100 kanji garantem 40,74% de um corpus. 872 garantem 90%. Os cinco pontos percentuais seguintes custam mais 290.
A kanji frequency tool opera sobre um corpus de 709.707 ocorrências de kanji extraídas de 60 obras literárias. Pergunta-se-lhe que proporção desse texto se consegue ler com um determinado número de caracteres e ela responde:
- os 100 kanji mais comuns — 40,74% de todas as ocorrências
- 158 kanji — 50,11%, metade do texto
- 872 kanji — 90,02%
- 1.162 kanji — 95,00%
- todos os 2.136 — 100%
Leia-se essa coluna de cima para baixo e a forma é inconfundível. Os primeiros cem caracteres garantem 40 pontos percentuais. Os 772 seguintes garantem 49. Os 290 subsequentes garantem cinco. E os últimos 974 caracteres — quase metade de toda a lista — garantem os cinco por cento finais.
A mesma curva em todas as línguas
Esta é a lei de Zipf, e a sua persistência é a parte mais intrigante. Ordenem-se as palavras de qualquer texto extenso por frequência e a frequência da palavra na posição r diminui aproximadamente como 1/r: a segunda palavra mais comum surge cerca de metade das vezes em relação à primeira, a décima cerca de uma décima parte das vezes, a centésima cerca de uma centésima.
Verifica-se para o inglês, para os kanji japoneses, para o latim, para línguas sem tradição escrita até um linguista chegar com um gravador. Verifica-se para linguagens de programação. Verifica-se, de forma aproximada, para a dimensão das cidades, visitas a sítios Web e apelidos.
O que ela não tem é uma explicação consensual. A síntese de Piantadosi de 2014 é o levantamento honesto: o padrão é incontestável e todos os mecanismos propostos — otimização da comunicação, dactilografia aleatória, ligação preferencial, estrutura semântica — falham em prever os pormenores ou preveem-nos prevendo simultaneamente coisas falsas. É uma das regularidades mais bem documentadas no estudo da linguagem e ninguém consegue explicar a razão da sua existência.
Como é sentida por dentro
A curva tem uma assinatura psicológica, e qualquer pessoa que tenha estudado uma língua sentiu ambos os seus extremos.
O início é eufórico. Uma centena de caracteres — duas semanas de trabalho — e 40% do texto deixa de ser uma parede. A sensação é de que o progresso está a acelerar, porque cada novo carácter é genuinamente comum; volta a encontrá-lo na mesma página.
Depois achata brutalmente. A ferramenta apresenta o complemento como a "probabilidade de o próximo kanji ser desconhecido", e esse número é um indicador melhor de como a leitura realmente se sente. Com 100 caracteres conhecidos, um kanji em cada 1,7 faz-nos parar. Com 872, é um em cada 10. Com 1.162, um em cada 20 — o que parece fluência, mas não é: com vinte caracteres por frase, isso significa um tropeção em cada frase.
O trecho final é onde os estudantes desistem, e a curva explica a razão sem ter de recorrer à motivação. Os caracteres finais são raros por definição: é possível estudar um e não voltar a encontrá-lo durante uma semana, que é exatamente a condição sob a qual a memória falha. O esforço por carácter não aumenta — é o reforço por carácter que colapsa.
Por que motivo isto importa às máquinas
Esta mesma assimetria determina o modo como os modelos de linguagem fragmentam o texto.
Um vocabulário tem de ser finito, e uma distribuição de Zipf significa que a maior parte da massa de probabilidade se concentra num punhado de elementos, acompanhados por uma cauda interminável de elementos raros. Se atribuirmos a cada palavra o seu próprio token, a cauda torna-se inutilizável — milhões de entradas, cada uma vista apenas um punhado de vezes, cada uma impossível de aprender. Se atribuirmos aos caracteres os seus próprios tokens, as palavras comuns desperdiçam uma dúzia de posições cada uma.
A tokenização de subpalavras é o compromisso adotado, e a tokenizer tool mostra o resultado: as palavras comuns sobrevivem como tokens únicos, enquanto as raras se fragmentam em pedaços. Essa é a curva de frequência convertida numa estrutura de dados. É também a razão pela qual um modelo lida perfeitamente com "the" e mal com um apelido raro — não porque o apelido seja mais difícil, mas porque se situa na parte da distribuição onde nunca existiram dados suficientes.
E isto estabelece o limite máximo para a compressão. O entropy lab mede o grau de surpresa do símbolo seguinte, e uma distribuição assimétrica é uma distribuição de baixa entropia: se alguns caracteres predominam, é possível codificá-los em menos bits, que é precisamente o que um compressor aproveita. A lei de Zipf é a razão pela qual o texto é afinal compressível, e a tabela de cobertura acima é esse mesmo facto contado em caracteres em vez de bits.
Um número que vale a pena reter: a 95% de cobertura, um kanji em cada vinte continua a ser desconhecido. A curva é generosa no início e impiedosa no fim, e ambas as metades constituem a mesma lei.