NLP entroopia labor

Shannoni entroopia, ristentroopia, hämmeldus ja KL-divergents on põhilised matemaatilised mõõdikud, mida kasutatakse tehisintellekti suurte keelemudelite (LLM), näiteks GPT-4 ja Llama, treenimisel ja hindamisel. Ristentroopia minimeerimine on samaväärne mudeli treenimisega järgmise tokeni ennustamiseks, hämmeldus mõõdab selle hindamistulemust ning KL-divergentsi kasutatakse RLHF-i tugevdusõppel joondamisel karistusliikmena.

Entroopia näitab, kui ettearvamatu tekst on – iga tokeni keskmist "üllatust". Perpleksus teisendab selle arusaadavaks arvuks: perpleksus 8 tähendab, et mudel on keskmiselt sama ebakindel, nagu valiks ta ühtlaselt 8 sõna vahel. Võrdle korduvat sisendit vaheldusrikka tekstiga ja jälgi, kuidas perpleksus kasvab: ettearvatav tekst annab madala, mitmekesine tekst kõrge tulemuse.

1951. aastal hindas Claude Shannon inglise keele entroopiat mitte arvutiga, vaid inimestega: katsealused arvasid varjatud teksti järgmist tähte ja nende tabamused piirasid inglise keele umbes 0.6 kuni 1.3 bitini tähemärgi kohta. See arv on siiani mõõdupuu – tänapäeva LLM-e hinnatakse selle järgi, kui lähedale jõuab nende perpleksus tähemärgi kohta sellele inimestest tuletatud piirile, seitsekümmend aastat hiljem.