See on masintõlge; algne artikkel on inglise keeles. Loe algartiklit
Pool jaapani kirjakeelest koosneb 158 märgist. Järgmise 45% jaoks on vaja tuhat märki lisaks.
100 kanjit annab 40.74% korpusest. 872 kanjit tagab 90%. Järgmised viis protsendipunkti nõuavad veel 290 märki.
Tööriist kanji frequency tool põhineb 60 kirjandusteosest pärineva 709,707 kanji-esinemuse korpusel. Küsige sellelt, kui suurt osa tekstist suudate teatava märkide arvu korral lugeda, ja see vastab:
- 100 kõige sagedasemat kanjit — 40.74% kõigist esinemustest
- 158 kanjit — 50.11%, pool tekstist
- 872 kanjit — 90.02%
- 1,162 kanjit — 95.00%
- kõik 2,136 — 100%
Veergu allapoole lugedes on seaduspära kuju selgesti nähtav. Esimesed sada märki tagavad 40 protsendipunkti. Järgmised 772 annavad 49. Pärast seda järgnevad 290 märki annavad viis. Ning viimased 974 märki — peaaegu pool kogu nimekirjast — tagavad viimased viis protsenti.
Sama kõver igas keeles
See on Zipfi seadus, ning selle püsivus ongi kõige kummalisem. Kui järjestada mis tahes suure teksti sõnad sageduse järgi, väheneb kohal r asuva sõna sagedus ligikaudu kui 1/r: sageduselt teine sõna esineb umbes poole vähem kui esimene, kümnes umbes kümnendik sellest ja sajas umbes sajandik.
See kehtib inglise keele, jaapani kanji'de, ladina keele ning keelte kohta, millel polnud kirjalikku traditsiooni enne keeleteadlase saabumist diktofoniga. See kehtib programmeerimiskeelte puhul. Samuti kehtib see ligikaudselt linnade suuruste, veebilehtede külastuste ja perekonnanimede puhul.
Mida sellel aga ei ole, on üldtunnustatud selgitus. Piantadosi 2014. aasta ülevaade on aus kokkuvõte: seaduspära ise on väljaspool vaidlust, kuid iga välja pakutud mehhanism — suhtluse optimeerimine, juhuslik trükkimine, eelistuslik liitumine, semantiline struktuur — kas ei suuda üksikasju ette näha või prognoosib neid koos asjadega, mis on valed. See on keeleteaduse üks paremini dokumenteeritud seaduspärasusi, kuid keegi ei oska öelda, miks see nii on.
Kuidas see seestpoolt tundub
Kõveral on oma psühholoogiline jälg ja igaüks, kes on mõnda keelt õppinud, on kogenud selle mõlemat otsa.
Algus on eufooriline. Sada märki — kahe nädala töö — ja 40% tekstist ei ole enam ületamatu müür. Edasiminek tundub kiirenevat, sest iga uus märk on tõepoolest sagedane; sellega kohtutakse uuesti juba samal leheküljel.
Seejärel muutub see julmalt lamedaks. Tööriist kuvab täiendit kui "tõenäosust, et järgmine kanji on tundmatu", ja see arv annab parema pildi sellest, kuidas lugemine tegelikult tundub. 100 tuntud märgi puhul peatab teid üks kanji 1.7-st. 872 puhul on see üks 10-st. 1,162 puhul üks 20-st — mis kõlab kui soravus, kuid ei ole seda: kui lauses on kakskümmend märki, tähendab see komistamist igas lauses.
Viimane etapp on see, kus õppijad alla annavad, ja kõver selgitab seda ilma motivatsioonile viitamata. Viimased märgid on haruldased definitsiooni järgi: võite ühte märki õppida ja mitte kohtuda sellega uuesti nädal aega, mis on täpselt tingimus, mille korral mälu alt veab. Pingutus ühe märgi kohta ei kasva — kinnistumine ühe märgi kohta variseb kokku.
Miks see masinatele korda läheb
Sama ebaühtlus määrab ka selle, kuidas keelemudelid teksti tükeldavad.
Sõnavara peab olema lõplik ja Zipfi jaotus tähendab, et enamik tõenäosusmassist koondub vähestele üksustele, millele järgneb lõputu haruldaste üksuste saba. Kui anda igale sõnale oma märk (token), muutub see saba kasutuks — miljoneid kirjeid, mida nähakse vaid paar korda ja mida on võimatu selgeks õppida. Kui aga anda tähemärkidele oma token'id, raiskavad sagedased sõnad igaüks tosina võrra pesasid.
Kompromissiks on alamsõnaline tokeniseerimine ning tööriist tokenizer tool näitab tulemust: sagedased sõnad jäävad püsima üksikute tokenitena, haruldased aga purunevad kildudeks. See on andmestruktuuriks teisendatud sageduskõver. See selgitab ka seda, miks mudel saab sõnaga "the" täiuslikult hakkama ja haruldase perekonnanimega halvasti — mitte seepärast, et perekonnanimi oleks raskem, vaid kuna see paikneb jaotuse selles osas, kus andmeid ei olnud kunagi piisavalt.
Samuti seab see piiri pakkimisele. Tööriist entropy lab mõõdab, kui üllatav on järgmine sümbol, ning kaldus jaotus on madala entroopiaga: kui vähesed märgid domineerivad, saab neid kodeerida vähemate bittidega, mida pakkimisprogramm täpselt ära kasutabki. Zipfi seadus on põhjus, miks tekst üldse hästi pakib, ja ülaltoodud katvustabel on seesama fakt mõõdetuna bittide asemel märkides.
Üks number, mida tasub meeles pidada: 95% katvuse juures on üks kanji kahekümnest ikka veel tundmatu. Kõver on alguses helde ja lõpus armutu, ning mõlemad pooled on üks ja seesama seadus.