Lorem-Ipsum-Generator-Lab

Erkunde deterministische Lorem-Erzeugung, informationstheoretische Kennzahlen (Entropie/Temperatur) und wie Markov-Kontextschleifen die direkten Vorläufer moderner Large Language Models (LLMs) sind.

Rechenbeispiel — Lorem-Ipsum-Generator-Lab

Erzeugte Wörter	180
Eindeutige Wörter	61
Gemessene Entropie	5.747 bits/word
Ziel-Entropie	6.2
Abweichung vom Ziel	0.453
Zipf-Exponent (s)	0.32
Geschätzte LLM-Tokens	311

Das sind die Werte, die der Rechner beim Öffnen der Seite anzeigt. Ändere oben eine Eingabe, um sie neu zu berechnen.

Interaktive Simulation wird geladen...

Dein Entropie-Regler ist ein LLM-Temperaturregler 🖖

Eine Markov-Kette ist der direkte mathematische Vorläufer moderner Large Language Models (LLMs). Beide arbeiten nach derselben autoregressiven Schleife zur Vorhersage des nächsten Tokens. Der Generator betrachtet die vorangegangenen N Wörter (Kontextfenster) und wählt das nächste Wort aus einer Wahrscheinlichkeitsverteilung. Während eine Markov-Kette einfach exakt passende Wortfolgen in einem kleinen Korpus nachschlägt, nutzt ein LLM Milliarden von Parametern (Attention-Schichten), um Kontext auszuwerten und Wahrscheinlichkeiten zu berechnen. Außerdem entspricht die hier eingestellte Ziel-Entropie direkt dem Parameter Temperatur in LLM-APIs: höhere Entropie erzeugt kreativen, vielfältigen Text (hohe Temperatur), niedrigere Entropie erzeugt repetitiven, vorhersagbaren Text (niedrige Temperatur).

Warum Blindtext bessere Layouts liefert 🖖

Blindtext existiert, damit man ein Layout beurteilen kann — Abstände, Schriftgröße, Zeilenumbrüche — ohne sich vom eigentlichen Inhalt der Wörter ablenken zu lassen. Echter Text verleitet Prüfer dazu, Sätze umzuschreiben, bevor das Design überhaupt feststeht. Dieses Labor geht noch weiter: Die Kennzahlen für Entropie und Zipf zeigen, ob dein Fülltext die Worthäufigkeit echter Sprache nachahmt, sodass Absätze genauso umbrechen wie später der reale Inhalt.

Lorem ipsum ist verstümmelter Cicero 🖖

„Lorem ipsum“ ist kein erfundenes Kauderwelsch — es ist durcheinandergewürfeltes Latein aus Ciceros ethischer Abhandlung De finibus bonorum et malorum von 45 v. Chr. Es beginnt sogar mitten im Wort: Lorem ist der Rest von dolorem („Schmerz“), dem die erste Silbe abgeschnitten wurde. Der Standard-Fülltext des Web ist also eine 2.000 Jahre alte Betrachtung über Lust und Schmerz, von frühen Druckern zu einem Schriftmuster verstümmelt — und im Markov-Modus kannst du neu verwürfeln, was sie einst von Hand verwürfelten.

Aufgabe vollständig gelöst

Die Zielabweichungslücke von 0,453 über 180 Wörter 7 Schritte
Classic-Modus, 180 Wörter, Seed spock, Zielentropie 6,2. Das Panel misst 5,747 Bits pro Wort und meldet eine Zielabweichung von 0,453. Bestimmen Sie, wie viel dieser Lücke der Generator überhaupt schließen könnte und wie viel davon nur existiert, weil Sie 180 Wörter statt einer Million gezählt haben.
1. Der Classic-Modus wählt jedes Wort unabhängig und gleichverteilt aus den verschiedenen Wörtern des Quellkorpus aus. Dieses Korpus ist 69 Wörter lang und 63 davon sind unterschiedlich; jede Ziehung ist also eine Chance von 1 zu 63, was das Protokoll als 1,6 % ausgibt.
  
  $p_{i} = \frac{1}{63} = 0.0159 (i = 1, \dots, 63), N = 180$
2. Eine Gleichverteilung ist die unvorhersehbarste Ziehung über einem festen Alphabet, daher ist log₂ 63 eine Obergrenze, kein Durchschnitt. Das Ziel von 6,2 liegt darüber. Dieser Teil der Abweichung ist eine Eigenschaft des Korpus, und kein Seed, kein neues Würfeln und keine Wortanzahl kann daran etwas ändern.
  
  $H_{m a x} = lo g_{2} 63 = 5.9773 ⟹ 6.2 - 5.9773 = 0.2227 bits$
3. Zählen wir nun den Textabschnitt aus, den der Generator tatsächlich ausgegeben hat: 12 Wörter kommen einmal vor, 13 zweimal, 16 dreimal, 10 viermal, 7 fünfmal, 2 sechsmal und 1 Wort kommt 7-mal vor. Zwei Summen bestätigen, dass die Zählung vollständig ist – 61 verschiedene Wörter, 180 Tokens – und die erste davon ist der zweite Wert des Panels.
  
  $(n_{1}, \dots, n_{7}) = (12, 13, 16, 10, 7, 2, 1) : \sum_{m} n_{m} = 61, \sum_{m} m n_{m} = 180$
4. Die gemessene Entropie ist der Plug-in-Schätzer: Man nimmt die beobachteten Häufigkeiten und behandelt sie so, als wären sie die Wahrscheinlichkeiten. Das Gruppieren der Wörter nach ihrer Häufigkeit reduziert eine Summe mit 61 Termen auf eine mit 7 Termen, da zwei Wörter, die 3-mal vorkommen, identisch beitragen.
  
  $\hat{H} = lo g_{2} 180 - \frac{1}{180} m \sum n_{m} m lo g_{2} m$
5. Die einmal vorkommenden Wörter tragen überhaupt nichts bei, da 1 × log₂ 1 = 0 ist, sodass nur 6 Terme übrig bleiben.
  
  $\frac{1}{180} (26 + 76.08 + 80 + 81.27 + 31.02 + 19.65) = \frac{314.02}{180} = 1.7446$
6. Subtrahiert man, entspricht das Ergebnis dem Wert auf dem Panel bis auf die letzte ausgegebene Stelle.
  
  $\hat{H} = 7.4919 - 1.7446 = 5.7473 bits/word$
7. Die verbleibenden 0,230 Bits liegen zwischen der Messung und der Obergrenze, und sie sind ein Artefakt der Zählung: 2 der 63 Wörter kamen nie vor, und ein Plug-in-Schätzer liest ein ungleichmäßiges Histogramm so, als wäre es die Wahrheit, was die Entropie jedes Mal unterschätzt. Miller–Madow korrigiert dies in erster Ordnung unter Verwendung der Anzahl der tatsächlich beobachteten Worttypen.
  
  $\hat{H}_{MM} = \hat{H} + \frac{K ^ - 1}{2 N ln 2} = 5.7473 + \frac{60}{249.5} = 5.988$
Antwort

5,747 Bits pro Wort, und die ausgegebenen 0,453 sind zwei unzusammenhängende Dinge, die zusammenaddiert wurden. 0,223 davon bilden eine Mauer – das Korpus liefert 63 Wörter, log₂ 63 = 5,9773, und um 6,2 zu erreichen, benötigte man 2^6,2 = 73,5, also ein Vokabular von mindestens 74 verschiedenen Wörtern. Die anderen 0,230 sind keine Eigenschaft des Textes, sondern der Stichprobengröße, und die Korrektur stellt dies wieder her: 5,988 gegenüber einer tatsächlichen Obergrenze von 5,9773, was eine Überschreitung um 0,010 bedeutet. Selbst das Vorzeichen dieser Überschreitung lässt sich herleiten – der Generator erstellt 6 Kandidaten-Textabschnitte und behält denjenigen, der dem Ziel am nächsten misst, und da jeder Kandidat hinter 6,2 zurückbleibt, bedeutet das Behalten des nächsten das Behalten des gleichmäßigsten. Der Bias-Term fällt mit 1/N: Bei 1.800 Wörtern beträgt er 0,025 Bits, sodass ein längerer Textabschnitt stillschweigend die Hälfte der Abweichung behebt und die andere Hälfte genau dort belässt, wo sie war.

$0.453 = 6.2 - l o g_{2} 63 0.223 + l o g_{2} 63 - \hat{H} 0.230$

Quellen (2)

The chain the generator runs, and the entropy it reports: C. E. Shannon, "A Mathematical Theory of Communication." The Bell System Technical Journal 27(3), 379–423, 1948.
The word-frequency shape the Zipf readout checks against: G. K. Zipf, Human Behavior and the Principle of Least Effort. Addison-Wesley, 1949.

Vom 42Math-Team · Aktualisiert 2026-05-27

Anhand veröffentlichter Quellen geprüft. Korrekturen willkommen. Redaktionsrichtlinie · Korrekturen

Alle Lektionen: Informatik →

Beispielaufgaben

ausgewogen - Ausgewogener Platzhaltertext mit moderater Entropie und reproduzierbarem Seed.
zipf-ähnlich - Zipf-ähnliches Rang-Häufigkeits-Profil für einen natürlichsprachlichen Häufigkeitsabfall.
markov-kette - Text im Markov-Modus mit lokalem Sequenzgedächtnis und höherer Variabilität.