Entroopiakodeerimise mänguväljak

Entroopiakodeerimine kasutab ära statistilist üleliigsust, et esitada sõnumeid vähemate bittidega. Shannoni allikakodeerimise teoreem ütleb, et iga kadudeta koodi absoluutne minimaalne keskmine pikkus on Shannoni entroopia: $H(X) = -\sum p_i \log_2 p_i$. Huffmani kodeerimine on antud tähestiku puhul optimaalne, kui sümboleid kodeeritakse eraldi, kuid see on piiratud täisarvuliste koodisõnade pikkustega. See täisarvuline piirang tähendab, et Huffman võib teoreetilisest entroopiast erineda kuni 0,086 biti/sümboli võrra (ja märksa rohkem, kui mõnel sümbolil on $p_i \approx 1$). Aritmeetiline kodeerimine (nt ANS) ületab selle piiri, kaardistades kogu jada murdosaintervallidele.

Seos LLM-ide ja tehisintellektiga: Tänapäeva keelemudelites (LLM-id) on entroopia kesksel kohal nii treenimise kui ka genereerimise juures. LLM-e treenitakse, minimeerides ristentroopia kadu nende sõnavaraennustuste ja tegeliku teksti vahel. Genereerimisel (järelduse tegemisel) väljastab LLM järgmise tokeni jaoks tõenäosusjaotuse üle kogu oma sõnavara. Selle jaotuse entroopia mõõdab mudeli ennustuse ebakindlust: lame jaotus (kõrge entroopia) annab loovat või juhuslikku teksti, samas kui terav jaotus (madal entroopia) annab väga ennustatavat teksti. Valimiparameetrid nagu temperatuur skaleerivad seda entroopiat otse (madalam temperatuur vähendab entroopiat, kõrgem suurendab seda), samas kui nucleus-valimine (Top-p) piirab dünaamiliselt kumulatiivset tõenäosust, et lõigata ära kõrge entroopiaga sabad.

Selle tööriista tegelik õppetund: sümboli ideaalne bittide arv on selle üllatusväärtus, −log₂ p. Sümbol, mis esineb pooltel juhtudel, väärib 1 bitti; see, mille tõenäosus on 1 tuhandest, umbes 10 bitti. Entroopia ongi lihtsalt kõigi sümbolite keskmine üllatusväärtus. Seepärast tihenevad kaldu jaotused (nagu Laplace'i või eksponentsiaalne eelseade) hästi, ühtlane tähestik aga mitte — kui kõik on võrdselt tõenäoline, pole liiasust, mida eemaldada.

Morsekood määras lühima märgi, üheainsa punkti, tähele E, mis on inglise keeles kõige sagedasem, ja pikad jadad haruldastele nagu Q ja Z. Pikkuste valimiseks luges Alfred Vail väidetavalt trükikoja ladumiskastis olevaid tähetüúpe, et hinnata tähtede sagedusi. See oli töötav muutuva pikkusega kodeerimine juba 1840. aastatel — ligi sajand enne, kui Shannon 1948. aastal formaalselt tõestas, miks see toimib.