BPE-Tokenizer-Explorer

Ein Sprachmodell sieht deine Buchstaben nie. Es sieht Token, bestimmt von einem Vokabular, das längst vor deiner Eingabe feststand. Füge Text ein und sieh zu, wie dieses Vokabular ihn zerschneidet.

Rechenbeispiel — BPE-Tokenizer-Explorer

Token	13
Zeichen	68
Zeichen pro Token	5,23
Verschiedene Token	13
Angewendete Verschmelzungen	3.000

Das sind die Werte, die der Rechner beim Öffnen der Seite anzeigt. Ändere oben eine Eingabe, um sie neu zu berechnen.

Interaktive Simulation wird geladen...

Das Vokabular gehört jemand anderem, und es ist bereits fertig 🖖

Die Verschmelzungsliste dieser Seite entstand, bevor du hier ankamst, aus der englischen Prosa dieser Website, und nichts, was du eingibst, ändert sie. Das ist keine Abkürzung — das ist es, was ein Tokenizer ist. Das Vokabular steht fest, bevor das Training eines Modells überhaupt beginnt, und es kann nicht mitwachsen: Ein Wort, das jener Korpus nie enthielt, hat keinen eigenen Eintrag, so alltäglich es für dich auch sein mag. Tippe einen Namen, einen Fachbegriff oder ein Wort in einer anderen Sprache und sieh zu, wie es in Stücken ankommt.

Das Leerzeichen gehört zum Token 🖖

Ein Token, das ein Wort beginnt, trägt das Leerzeichen davor mit sich, hier als ␣ dargestellt. „the“ am Zeilenanfang und „ the“ mitten in einer Zeile sind daher zwei verschiedene Einträge im Vokabular, und ein Modell muss beide lernen. Deshalb kann ein neuer Zeilenumbruch die Tokenzahl eines Absatzes ändern, ohne dass sich ein einziger Buchstabe ändert, und deshalb kostet eingefügter Text mit doppelten Leerzeichen oder Einrückungen mehr, als er aussieht.

Das Modell kann die Buchstaben in einem Token nicht sehen 🖖

Ein Token erreicht das Modell als eine einzige Zahl. „strawberry“ wird hier zu ▁stra · w · ber · ry — vier Zahlen, und die drei r des Wortes landen in drei verschiedenen davon. Die Frage, wie viele r es enthält, verlangt vom Modell einen Blick in Stücke, die es immer nur als Ganzes erhält. Oft antwortet es trotzdem richtig, weil es die Antwort irgendwo gelesen hat. Das ist Erinnerung, nicht Zählen, und deshalb wirkt der Fehler so seltsam, wenn er auftritt.

Aufgabe vollständig gelöst

Kompression, wenn achtundsechzig Zeichen zu dreizehn Tokens werden 5 Schritte
Achtundsechzig Zeichen werden zu dreizehn Tokens. Berechnen Sie die Kompression und ermitteln Sie anschließend, was diese fünf Zeichen pro Token für ein Modell tatsächlich wert sind.
1. Die beiden Anzahlen machen die gesamte Messung aus: Zeichen hinein, Tokens heraus.
  
  $68 characters ⟶ 13 tokens$
2. Ihr Verhältnis liegt etwas über fünf, was für Englisch unter Byte-Pair-Encoding typisch ist — häufige Wörter bleiben als einzelne Tokens erhalten und seltene fragmentieren.
  
  $\frac{68}{13} = 5.23 characters per token$
3. Der entscheidende Vergleich ist der mit der Alternative. Ein Modell auf Byte-Ebene liest denselben Text als 68 Tokens, was mehr als dem Fünffachen der Sequenzlänge entspricht.
  
  $a byte-level model would emit 68 tokens for the same text$
4. Die Aufmerksamkeitsmatrix enthält n² Einträge. Wird der Text um den Faktor 5,23 länger, wächst dieser Teil des Rechenaufwands daher um den Faktor 27. Der übrige Teil des Netzes skaliert linear mit n und wächst nur um den Faktor 5,23. Welcher Anteil überwiegt, hängt von der Kontextlänge ab: Erst jenseits einiger Tausend Token dominiert die Aufmerksamkeit.
  
  $cost \propto (tokens)^{2} for attention ⟹ (\frac{68}{13})^{2} = 27 \times$
5. Alle dreizehn Tokens sind hier unterschiedlich, was zeigt, dass der Text kurz und abwechslungsreich ist — es gibt keine Wiederholung, die die Verschmelzungen über das hinaus ausnutzen könnten, was das Vokabular bereits kodiert.
  
  $13 distinct of 13 ⟹ no token repeats here$
Antwort

Das Werkzeug ermittelt 13 Token für 68 Zeichen, also 5,23 Zeichen pro Token. Diese Verdichtung ist der Grund, weshalb Tokenisierung überhaupt nötig ist und keineswegs nur ein technisches Detail: Bei fester Kontextlänge entscheidet sie darüber, ob fünf Textseiten hineinpassen oder nur eine. Deshalb ist dasselbe Modell auf Englisch auch günstiger als in Sprachen, für die sein Vokabular nicht ausgelegt wurde. Die Zusammenfassungen von Zeichenfolgen wurden anhand eines Textkorpus gelernt. Ein dort unterrepräsentiertes Schriftsystem wird deshalb bis hinunter zur Byte-Ebene stärker zerstückelt und verursacht in beiden Teilen mehr Aufwand: im gesamten Netz linear, bei der Aufmerksamkeit quadratisch. Füge Text in einer anderen Sprache ein und beobachte, wie das Verhältnis sinkt.

$5.23 chars/token : a 5 \times shorter sequence, and 27 \times less attention work$

Lernpfad

Wie ein LLM das nächste Wort wählt

Führt zu token-embeddings das Vokabular — die feste Menge an Einträgen, an die alles Nachfolgende überhaupt eine Wahrscheinlichkeit heften kann.

Quellen (2)

Byte-pair encoding applied to text, which is where subword tokenisation came from: R. Sennrich, B. Haddow and A. Birch, "Neural Machine Translation of Rare Words with Subword Units." Proceedings of the 54th Annual Meeting of the ACL (Volume 1: Long Papers), 1715–1725, 2016.
The language-independent scheme most current models actually ship: T. Kudo and J. Richardson, "SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing." Proceedings of EMNLP 2018: System Demonstrations, 66–71, 2018.

Vom 42Math-Team · Aktualisiert 2026-08-09

Anhand veröffentlichter Quellen geprüft. Korrekturen willkommen. Redaktionsrichtlinie · Korrekturen

Alle Lektionen: Informatik →

Beispielaufgaben

Englische Prosa - 68 Zeichen werden zu 13 Token. Häufige Wörter wie „of“ und „a“ bleiben jeweils ganz, während „quickly“ nach „quick“ zerbricht.
Derselbe Satz, auf Deutsch - 69 Zeichen — eines mehr als im englischen Satz — werden zu 36 Token. Das Vokabular wurde auf Englisch trainiert, und Deutsch zahlt dafür.
Seltene und lange Wörter - 52 Zeichen werden zu 23 Token. „strawberry“ kommt in vier Teilen an, sodass dem Modell seine drei einzelnen r nie gezeigt werden.
Ziffern und Datumsangaben - 50 Zeichen werden zu 31 Token. Ziffern werden in die Paare zerlegt, die zufällig im Korpus vorkamen — deshalb fällt einem Modell das Rechnen mit langen Zahlen schwer.
Englisch, kleines Vokabular - Derselbe englische Satz wie im ersten Beispiel, mit 200 statt 3000 Verschmelzungen: 33 Token statt 13.