Temperatuur ja valim

Kõik, mida mudel teeb sõnavara hindamise ja sõna valimise vahel, on aritmeetika, milles pole juhuslikkust. Täringut veeretatakse täpselt üks kord, kõige lõpus.

Näidisarvutus — Temperatuur ja valim

Edu teise ees	3,08×
Alles jäänud kandidaate	12 / 12
Alles jäänud tõenäosus	100,0%
Erinevaid jätke korpuses	1280
Osa esinemistest, mille need 12 katavad	13,6%

Need on väärtused, mida kalkulaator lehe avamisel näitab. Muuda ülal mõnda sisendit, et need ümber arvutada.

Interaktiivse simulatsiooni laadimine...

Temperatuur ei ole juhuslikkus 🖖

Iga samm sellel lehel peale viimase on aritmeetika kindla vastusega. Temperatuur jagab skoorid enne eksponentfunktsiooni, top-k jätab alles kindla arvu, top-p kindla osa — käivita ükskõik milline neist samade seadetega kaks korda ja saad identsed arvud. Juhuslikkus tuleb mängu täpselt üks kord, kui „Tõmba token“ viskab ühe arvu nende tõenäosuste vastu. Just seepärast on „keera temperatuur maha, siis on see determineeritud“ vale kirjeldus: madal temperatuur teeb ühe tulemuse ülekaalukalt tõenäoliseks, mis ei ole sama mis kindel.

Top-k ja top-p hoiavad paigal eri asju 🖖

Top-k jätab alles kindla arvu kandidaate ja laseb kogutud tõenäosusel kõikuda: k = 3 jätab iga kord kolm, kuid need kolm hoiavad ␣a järel 40,7% ja ␣so järel 72,2%. Top-p teeb vastupidist — see fikseerib osakaalu ja laseb arvul kõikuda, nii et p = 50% jätab ␣a järel alles viis kandidaati ja ␣it järel ainult ühe. Just seepärast eelistatakse tavaliselt tuumavalimit: see, kui mitut võimalust mudel kaaluma peaks, sõltub sellest, kui kindel ta on, ja neist kahest seadest suudab seda märgata ainult üks.

Üks token konteksti ja kaksteist kandidaati 1280-st 🖖

See leht arvutab bigrammi: ta vaatab täpselt ühe tokeni taha ja mitte kaugemale. Transformer vaatab tuhandeid, ja just selles seisneb kogu vahe selle ja millegi vahel, mis oskab kirjutada. Võrdlusest jääb alles aritmeetika — skooridest saavad tõenäosused, temperatuur kujundab need ümber, kärpimine lõikab neid, üks tõmmatakse — ja probleemi kuju. ␣the järel pakub see korpus 1280 erinevat jätku ja siin näidatud kaksteist katavad 13,6% selle esinemistest. Saba on suurem osa jaotusest ja kärpimine on see, mis takistab tal väljundisse imbumast.

Ülesanne täielikult lahendatud

Kaksteist võimalikku jätku, mis katavad 13,6% tegelikult järgnevast 5 sammu
Kaksteist kandidaatjätku katavad 13,6% sellest, mis tegelikult sellele kontekstile järgneb. Tehke kindlaks, milline näeb välja ülejäänud 86%, ja miks see kuju määrab, kuidas valimivõtt peab töötama.
1. Korpus pakub sellele kontekstile 1280 erinevat jätku. See ongi tegelik jaotus, mida mudel üritab jäljendada, ja see on palju laiem kui ükskõik milline lühinimekiri.
  
  $the corpus offers 1280 distinct continuations of this context$
2. Parimad kaksteist — need, mida paneel hindab — moodustavad omavahel kokku 13,6% kõigist esinemistest.
  
  $the top 12 cover 13.6% of all occurrences$
3. Nii et ülejäänud 1268 jätku jagavad omavahel 86,4%. Ükski neist pole eraldiseisvalt tõenäoline, kuid kollektiivselt moodustavad need suurema osa toimumisest.
  
  $1280 - 12 = 1268 continuations share the remaining 86.4%$
4. See tähendab, et 99,1% valikutest hoiab enda käes 86,4% tõenäosusest: see on pikk saba, mitte tipp koos müraga selle ümber.
  
  $\frac{1268}{1280} = 99.1% of the options carry 86.4% of the mass$
5. Kui top-k on välja lülitatud, jäävad alles kõik kaksteist ning paneel näitab, et säilinud on 100% tõenäosusest. See 100% on arvutatud valikloendi piires, 13,6% aga kogu korpuse suhtes. Seega kärbib iga selle lehe filter jaotuse tippu: 1 268 sabasse kuuluvat jätku olid kadunud juba enne ühegi liuguri liigutamist.
  
  $top- k off \Rightarrow 12/12 kept, 100% probability retained$
Vastus

Tööriist näitab, et alles jäi 12 / 12 jätku, säilis 100,0% tõenäosusest, eri jätke on 1 280 ja kaetus on 13,6%. Just saba teeb valimi võtmise keeruliseks. Kui valida alati kõige tõenäolisem sõne, muutub tekst korduvaks, sest valik tehakse lõputult sama 13,6% seast. Kui võtta valim kogu jaotusest, satub varem või hiljem ette midagi absurdset, sest 86,4% tõenäosusmassist kuulub valikutele, millest igaüks eraldi on väga halb. Top-k ja top-p võimaldavad saba kärpida ilma jaotuse tippu lamedaks muutmata; ülal toodud arvud näitavadki nendevahelist kompromissi. Jälgi, kuidas temperatuur seda mõjutab: määra top-p väärtuseks 90 ja kaheteistkümnest jääb alles kümme, seejärel tõsta temperatuur väärtusele 1,50 ning lisandub üheteistkümnes. Jaotuse lamedamaks muutudes tuum laieneb, mitte ei ahene.

$a long tail: 99.1% of continuations hold 86.4% of the probability$

Õpitee

Kuidas LLM järgmise sõna valib

Allikad (2)

Where the temperature in a softmax comes from — it is the one in the Boltzmann distribution: D. H. Ackley, G. E. Hinton and T. J. Sejnowski, "A Learning Algorithm for Boltzmann Machines." Cognitive Science 9(1), 147–169, 1985.
Why lowering the temperature is not the same as improving the text, and what nucleus sampling does instead: A. Holtzman, J. Buys, L. Du, M. Forbes and Y. Choi, "The Curious Case of Neural Text Degeneration." ICLR 2020.

42Mathi meeskond · Uuendatud 2026-08-10

Kontrollitud avaldatud allikate põhjal. Parandused on teretulnud. Toimetamispõhimõtted · Parandused

Kõik Arvutustehnika õppetunnid →

Näiteülesanded

Kõige ebakindlam kontekst - Pärast ␣a pakub korpus 980 erinevat jätku ja liider ␣single võtab neist kaheteistkümnest vaid 24,6%. Need kaksteist katavad 12,5% kõigest, mis sellele kunagi järgnes.
Kõige kindlam kontekst - Pärast ␣so võtab liider ␣the 43,2% ja näidatud kaksteist katavad 53,9% kõigist esinemistest — see kontekst on otsuse teinud, ␣a mitte.
Külm: temperatuur 0,2 - Temperatuuril 0,2 hoiab liider ␣same 99,5% ja edestab teist 278× võrra. Midagi ei eemaldatud; vahesid lihtsalt venitati.
Kuum: temperatuur 2 - Temperatuuril 2 hoiab seesama liider ␣same 18,2% ja tema edu teise ees on kahanenud 1,76× peale. Ta on endiselt liider — see ei muutunud kunagi.
Tuum: jäta 50% - 50% tõenäosuse alles jätmine jätab 12-st 3 kandidaati, kes hoiavad kokku 54,5%. Uuesti normeerimine annab liidrile 63,6%.
Temperatuur 0 - Temperatuur 0 jätab 12-st alles 1 kandidaadi. See ei ole väga külm softmax; see on argmax, ja näidik ütleb seda.