Temperatur und Sampling

Alles, was ein Modell zwischen dem Bewerten des Vokabulars und der Wahl eines Wortes tut, ist Arithmetik ohne jeden Zufall. Gewürfelt wird genau einmal, ganz am Ende.

Rechenbeispiel — Temperatur und Sampling

Vorsprung auf den Zweiten	3,08×
Behaltene Kandidaten	12 / 12
Behaltene Wahrscheinlichkeit	100,0%
Verschiedene Fortsetzungen im Korpus	1.280
Anteil der Vorkommen, den diese 12 abdecken	13,6%

Das sind die Werte, die der Rechner beim Öffnen der Seite anzeigt. Ändere oben eine Eingabe, um sie neu zu berechnen.

Interaktive Simulation wird geladen...

Temperatur ist kein Zufall 🖖

Jeder Schritt auf dieser Seite außer dem letzten ist Arithmetik mit einem festen Ergebnis. Temperatur teilt die Punktzahlen vor der Exponentialfunktion, Top-k behält eine feste Anzahl, Top-p einen festen Anteil — führe eines davon zweimal mit denselben Einstellungen aus und du erhältst identische Zahlen. Der Zufall kommt genau einmal ins Spiel, wenn „Token ziehen“ eine einzige Zahl gegen diese Wahrscheinlichkeiten wirft. Deshalb ist „dreh die Temperatur runter, dann wird es deterministisch“ die falsche Beschreibung: Eine niedrige Temperatur macht ein Ergebnis überwältigend wahrscheinlich, und das ist nicht dasselbe wie sicher.

Top-k und Top-p halten Verschiedenes fest 🖖

Top-k behält eine feste Anzahl von Kandidaten und lässt die erfasste Wahrscheinlichkeit schwanken: k = 3 behält jedes Mal drei, aber diese drei halten nach ␣a 40,7% und nach ␣so 72,2%. Top-p macht das Gegenteil — es legt den Anteil fest und lässt die Anzahl schwanken, sodass p = 50% nach ␣a fünf Kandidaten behält und nach ␣it nur einen. Deshalb wird Nucleus-Sampling meist bevorzugt: Wie viele Möglichkeiten ein Modell erwägen sollte, hängt davon ab, wie sicher es ist, und nur eine dieser beiden Einstellungen kann das bemerken.

Ein Token Kontext, und zwölf Kandidaten von 1.280 🖖

Diese Seite rechnet ein Bigramm: Sie schaut genau ein Token zurück und nicht weiter. Ein Transformer schaut Tausende zurück, und das ist der ganze Unterschied zwischen dem hier und etwas, das schreiben kann. Was den Vergleich übersteht, ist die Arithmetik — Punktzahlen werden zu Wahrscheinlichkeiten, Temperatur formt sie um, Beschneidung schneidet sie weg, eine wird gezogen — und die Form des Problems. Nach ␣the bietet dieser Korpus 1.280 verschiedene Fortsetzungen, und die hier gezeigten zwölf decken 13,6% seiner Vorkommen ab. Der Schwanz ist der größte Teil der Verteilung, und die Beschneidung ist das, was ihn davon abhält, in die Ausgabe zu sickern.

Aufgabe vollständig gelöst

Zwölf Fortsetzungskandidaten, die 13,6 % dessen abdecken, was tatsächlich folgt 5 Schritte
Zwölf Kandidaten-Fortsetzungen decken 13,6% dessen ab, was tatsächlich auf diesen Kontext folgt. Finden Sie heraus, wie die anderen 86% aussehen und warum diese Form darüber entscheidet, wie das Sampling funktionieren muss.
1. Der Korpus bietet 1280 verschiedene Fortsetzungen für diesen Kontext. Das ist die reale Verteilung, die das Modell nachzuahmen versucht, und sie ist weit breiter als jede Auswahlliste.
  
  $the corpus offers 1280 distinct continuations of this context$
2. Die obersten zwölf — diejenigen, die das Panel bewertet — machen zusammen 13,6% aller Vorkommnisse aus.
  
  $the top 12 cover 13.6% of all occurrences$
3. Die verbleibenden 1268 Fortsetzungen teilen sich also 86,4%. Keine einzige von ihnen ist für sich genommen wahrscheinlich, und zusammen machen sie den Großteil dessen aus, was geschieht.
  
  $1280 - 12 = 1268 continuations share the remaining 86.4%$
4. Das sind 99,1% der Optionen, auf die 86,4% der Wahrscheinlichkeit entfallen: ein Long Tail, keine Spitze mit Rauschen darum herum.
  
  $\frac{1268}{1280} = 99.1% of the options carry 86.4% of the mass$
5. Ohne Top-k bleiben alle zwölf erhalten; die Anzeige meldet 100 % beibehaltene Wahrscheinlichkeitsmasse. Diese 100 % beziehen sich auf die Auswahlliste, die 13,6 % dagegen auf den gesamten Korpus. Daher beschneidet jeder Filter auf dieser Seite nur den Kopf der Verteilung: Die 1.268 Fortsetzungen im langen Ausläufer waren bereits verschwunden, bevor du auch nur einen Regler bewegt hast.
  
  $top- k off \Rightarrow 12/12 kept, 100% probability retained$
Antwort

Das Werkzeug zeigt 12 / 12 beibehaltene Fortsetzungen, 100,0 % erhaltene Wahrscheinlichkeitsmasse, 1.280 verschiedene Fortsetzungen und eine Abdeckung von 13,6 %. Der lange Ausläufer macht das Sampling so schwierig. Wählst du immer das wahrscheinlichste Token, verfällt der Text in Wiederholungen, denn deine Auswahl stammt dauerhaft aus denselben 13,6 %. Ziehst du dagegen aus der gesamten Verteilung, erwischst du irgendwann etwas Absurdes: 86,4 % der Wahrscheinlichkeitsmasse entfallen auf Möglichkeiten, die einzeln betrachtet ausgesprochen schlecht sind. Top-k und Top-p schneiden diesen Ausläufer ab, ohne den Kopf der Verteilung einzuebnen. Die Werte oben zeigen, welchen Ausgleich beide Verfahren suchen. Beobachte, wie die Temperatur ihn verschiebt: Stell Top-p auf 90, dann bleiben zehn der zwölf Fortsetzungen erhalten. Erhöhst du anschließend die Temperatur auf 1,50, kommt eine elfte zurück, weil eine flachere Verteilung den Nukleus erweitert.

$a long tail: 99.1% of continuations hold 86.4% of the probability$

Lernpfad

Wie ein LLM das nächste Wort wählt

Quellen (2)

Where the temperature in a softmax comes from — it is the one in the Boltzmann distribution: D. H. Ackley, G. E. Hinton and T. J. Sejnowski, "A Learning Algorithm for Boltzmann Machines." Cognitive Science 9(1), 147–169, 1985.
Why lowering the temperature is not the same as improving the text, and what nucleus sampling does instead: A. Holtzman, J. Buys, L. Du, M. Forbes and Y. Choi, "The Curious Case of Neural Text Degeneration." ICLR 2020.

Vom 42Math-Team · Aktualisiert 2026-08-10

Anhand veröffentlichter Quellen geprüft. Korrekturen willkommen. Redaktionsrichtlinie · Korrekturen

Alle Lektionen: Informatik →

Beispielaufgaben

Unsicherster Kontext - Nach ␣a bietet der Korpus 980 verschiedene Fortsetzungen, und der Spitzenreiter ␣single nimmt nur 24,6% der zwölf gezeigten. Diese zwölf decken 12,5% von allem ab, was je darauf folgte.
Sicherster Kontext - Nach ␣so nimmt der Spitzenreiter ␣the 43,2%, und die zwölf gezeigten decken 53,9% aller Vorkommen ab — dieser Kontext hat sich entschieden, ␣a nicht.
Kalt: Temperatur 0,2 - Bei Temperatur 0,2 hält der Spitzenreiter ␣same 99,5% und führt mit 278× vor dem Zweiten. Nichts wurde entfernt; die Abstände wurden nur gedehnt.
Heiß: Temperatur 2 - Bei Temperatur 2 hält derselbe Spitzenreiter ␣same 18,2%, und sein Vorsprung auf den Zweiten ist auf 1,76× geschrumpft. Er führt immer noch — das hat sich nie geändert.
Nucleus: 50% behalten - 50% der Wahrscheinlichkeit zu behalten lässt 3 von 12 Kandidaten übrig, die zusammen 54,5% halten. Die Neunormierung gibt dem Spitzenreiter 63,6%.
Temperatur 0 - Temperatur 0 behält 1 von 12 Kandidaten. Das ist kein sehr kaltes Softmax; es ist argmax, und die Anzeige sagt das auch.