Lorem Ipsumi generaatori labor

Markovi ahel on tänapäeva suurte keelemudelite (LLM-ide) otsene matemaatiline eelkäija. Mõlemad töötavad täpselt sama autoregressiivse järgmise tokeni ennustamise tsükli järgi. Generaator vaatab eelnevaid N sõna (kontekstiaken) ja valib järgmise sõna tõenäosusjaotusest. Kui Markovi ahel lihtsalt otsib väikesest korpusest täpselt sobivaid fraase, siis LLM kasutab miljardeid parameetreid (tähelepanukihte), et hinnata konteksti ja arvutada tõenäosusi. Lisaks vastab siin seatud sihtentroopia otseselt LLM-i API-de temperatuuri parameetrile: kõrgem entroopia loob loomingulist ja mitmekesist teksti (kõrge temperatuur), madalam entroopia aga korduvat ja etteaimatavat teksti (madal temperatuur).

Täitetekst on olemas selleks, et saaksid hinnata küljendust — vahesid, kirjasuurust, reavahetusi — ilma et sõnade tegelik sisu tähelepanu hajutaks. Päris tekst ahvatleb ülevaatajaid lauseid ümber kirjutama, enne kui kujundus on üldse paigas. See labor läheb sammu kaugemale: entroopia ja Zipfi näitajad võimaldavad kontrollida, kas su täitetekst jäljendab tõelise keele sõnasagedust, nii et lõigud murduvad samamoodi nagu lõplik sisu.

„Lorem ipsum“ pole väljamõeldud mõttetus — see on segi paisatud ladina keel Cicero eetikatraktaadist De finibus bonorum et malorum, mis on kirjutatud 45 eKr. See algab isegi keset sõna: Lorem on sõna dolorem („valu“) saba, millel on esimene silp maha lõigatud. Nii on veebi vaiketäitetekst 2000 aasta vanune mõtisklus naudingust ja valust, mille varajased trükkalid moonutasid kirjanäidiseks — ja Markovi režiim laseb sul uuesti segada seda, mille nemad kunagi käsitsi segasid.