Dies ist eine maschinelle Übersetzung; das englische Original ist maßgebend. Original lesen
Warum ein Sprachmodell Schwierigkeiten hat, die Buchstaben in einem Wort zu zählen
Das Wort „strawberry“ erreicht das Modell in drei Teilen – str, aw, berry. Die Buchstaben sind verschwunden, bevor es irgendetwas gelesen hat.
Fragt man ein Sprachmodell, wie oft der Buchstabe „r“ in „strawberry“ vorkommt, antwortet es nicht selten mit zwei. Dies wird oft als Beleg für einen tiefgreifenden Mangel gewertet. Dabei kommt es eher dem Versuch gleich, jemanden die Pinselstriche eines Wortes zählen zu lassen, das er bisher nur gehört hat.
Was das Modell tatsächlich empfängt
Bevor ein Modell Text zu Gesicht bekommt, wird der Text in Tokens zerlegt. Nicht in Buchstaben, nicht in Wörter – sondern in Abschnitte, die von einem Algorithmus ausgewählt werden. Dieser hat ein großes Korpus analysiert und immer wieder die am häufigsten nebeneinander vorkommenden Paare zusammengefügt, bis ein Vokabular aus einigen zehntausend Bausteinen entstanden ist.
Häufige Wörter werden zu einem einzigen Token. Seltenere Wörter werden getrennt, und wo die Trennungen verlaufen, wird durch Korpusstatistiken bestimmt und nicht durch Bedeutung oder Rechtschreibung. „strawberry“ kann als zwei oder drei Teile ankommen, und aus der Sicht des Modells sind diese Teile atomare Symbole – jeweils ein beliebiger Index in einem Vokabular, ohne dass dem Modell mehr interne Struktur zur Verfügung stünde als bei einer Hausnummer.
Die Buchstaben sind also tatsächlich nicht vorhanden. Ein Modell kann zwar Fakten über die Rechtschreibung lernen – dass bestimmte Tokens dazu neigen, gemeinsam mit bestimmten Aussagen über Buchstaben aufzutreten –, aber es zieht seine Schlüsse aus Hörensagen über seine eigene Eingabe statt aus der Eingabe selbst. Sie können diese Zerlegung im Tokenizer beobachten.
Was sich daraus noch erklärt
Arithmetik mit langen Zahlen. Zahlen werden ebenfalls tokenisiert, und zwar nicht immer Ziffer für Ziffer. Eine Zahl kann in Blöcke unterteilt werden, die quer zum Stellenwert verlaufen, sodass ein Modell bei der schriftlichen Addition oder Subtraktion mit Teilen arbeitet, die nicht an den Stellenwerten ausgerichtet sind. Eine Leistung, die mit steigender Ziffernzahl stark abfällt, ist ein Hinweis darauf, dass das Problem in der Repräsentation liegt.
Reime, Anagramme, Akrosticha. Jede Aufgabe, die über Buchstaben statt über Bedeutung definiert ist, stößt auf dieselbe Hürde.
Kosten und Kontextgrenzen in anderen Sprachen als Englisch. Tokenizer werden auf Korpora trainiert, die überwiegend englisch sind. Daher erhält das Englische effiziente Tokens, während andere Sprachen in mehr Teile pro Wort fragmentiert werden. Derselbe Satz in einer weniger repräsentierten Sprache kann ein Vielfaches an Tokens verbrauchen, was bedeutet, dass die Verarbeitung mehr kostet und mehr vom festen Kontextfenster belegt. Das ist eine Gerechtigkeitsfrage, die sich in einem Vorverarbeitungsschritt verbirgt.
Tokens sind nicht die einzige Stelle, an der Überraschungen lauern
Bedeutung ist geometrisch. Wörter werden zu Vektoren, und die Nähe in diesem Raum wird aus dem gemeinsamen Auftreten gelernt – was in der Nähe wovon erscheint. Deshalb erfassen Modelle Assoziationen so gut und übernehmen die Vorurteile des Textes, auf dem sie trainiert wurden: Wenn ein Wort im Korpus nahe bei bestimmten anderen Wörtern steht, wird es im Raum in deren Nähe liegen, und nichts im Mechanismus unterscheidet eine Tatsache von einem Klischee. Das Tool Token Embeddings baut eine kleine Version dieses Raums auf, sodass Sie sehen können, woraus die Geometrie besteht.
Die Ausgabe wird gesampelt, nicht ausgewählt. Ein Modell erzeugt eine Wahrscheinlichkeitsverteilung über das nächste Token, und etwas muss eines auswählen. Senkt man die Temperatur, wählt es jedes Mal die wahrscheinlichste Option und wird repetitiv und vorhersehbar. Erhöht man sie, wählt es häufiger Optionen mit geringer Wahrscheinlichkeit und wird einfallsreich und unzuverlässig. Vieles von dem, was als „kreativ“ oder „halluzinierend“ beschrieben wird, ist lediglich ein Sampling-Parameter. Temperature Sampling macht die Verteilung und die Auswahl nebeneinander sichtbar.
Warum es sich lohnt, das zu wissen
Es verwandelt ein Rätsel in eine Spezifikation. „Das Modell ist unzuverlässig“ bietet keine Handlungsanleitung. „Das Modell kann keine Buchstaben sehen, verlagere also Rechtschreib- und Buchstabenzählaufgaben an Code“ hingegen schon. Ebenso wie: „Diese Sprache kostet dreimal so viele Tokens, plane das Budget entsprechend ein“ und „Diese Ausgabe wurde mit einer Temperatur gesampelt, die keine reproduzierbaren Ergebnisse liefert“.
Fast jede praktische Entscheidung über die effektive Nutzung dieser Systeme beruht auf dem Wissen, aus welcher Schicht ein Verhalten stammt – dem Tokenizer, der Einbettungsgeometrie oder dem Sampler. Keines dieser drei Elemente ist Intelligenz, und alle drei sind überprüfbar.
Wie das Vokabular aufgebaut wird
Die übliche Methode ist das Byte-Pair-Encoding, und es ist einfacher als sein Ruf. Man beginnt mit jedem Zeichen als eigenem Token. Man zählt alle benachbarten Paare im gesamten Korpus, findet das häufigste Paar und führt es zu einem einzigen neuen Token zusammen. Dies wiederholt man einige zehntausend Mal.
Was dabei entsteht, ist keine linguistische Analyse. Es ist eine Häufigkeitsrangfolge. Häufige englische Wörter bleiben als Ganzes erhalten, weil sie im Korpus häufig waren; die Morphologie wird nur dort erfasst, wo sie zufällig mit der Häufigkeit übereinstimmt. Der Tokenizer hat keine Vorstellung davon, dass „running“ das Wort „run“ enthält – er wird es nur dann so darstellen, wenn sich diese Trennung bei der Zählung zufällig durchgesetzt hat.
Das hat eine Konsequenz, die man klar ansprechen sollte: Das Vokabular ist das Fossil eines bestimmten Korpus zu einem bestimmten Zeitpunkt. Ändert man den Trainingstext, verschieben sich die Trennungen. Zwei Modelle mit unterschiedlichen Tokenizern sind sich nicht bloß uneinig über die Ausgabe; sie sind sich uneinig darüber, was die Eingabe ist.
Warum es sich nicht einfach beheben lässt
Die naheliegende Antwort wäre, dem Modell stattdessen Zeichen zuzuführen. Einige Modelle tun dies, doch dieser Kompromiss ist nicht kostenlos.
Tokens existieren, um die Sequenz zu verkürzen. Eine Seite auf Englisch umfasst etwa 250 Tokens oder 1.200 Zeichen, und die Kosten des Attention-Mechanismus wachsen quadratisch mit der Sequenzlänge – die Arbeit auf Zeichenebene erfordert für denselben Textabschnitt also etwa zwanzigmal mehr Rechenaufwand. Tokenisierung ist ein Kompressionsschritt und unterliegt genau dem Zielkonflikt aus dem Kompressionsartikel: Man erkauft sich kürzere Sequenzen, indem man den Zugriff auf Strukturen unterhalb des Tokens aufgibt.
Es handelt sich also um einen bewussten Tausch von Sichtbarkeit auf Zeichenebene gegen Sequenzlänge, der vollzogen wird, bevor das Modell überhaupt etwas sieht, und seine Kosten fallen genau dort an, wo es auf Details auf Zeichenebene ankam.
Ein Kompressionstrick von 1994
Das Trennschema hat eine merkwürdige Geschichte. Byte-Pair-Encoding wurde 1994 von Philip Gage in einer Programmierzeitschrift als Datenkompressionsalgorithmus veröffentlicht, um Dateien zu komprimieren. Seine Regel bestand darin, das häufigste benachbarte Byte-Paar zu finden und durch ein nicht verwendetes Byte zu ersetzen und dies dann zu wiederholen.
Im Jahr 2016 übernahmen Sennrich, Haddow und Birch das Verfahren für die maschinelle Übersetzung – nicht um irgendetwas zu komprimieren, sondern um ein Vokabular aufzubauen, das seltene Wörter in Teilen darstellen konnte, anstatt sie ganz aufzugeben.
Ein dreißig Jahre alter Kompressionstrick, der entwickelt wurde, als Speicherplatz auf der Festplatte das Sorgenkind war, entscheidet also darüber, was die größten heutigen Modelle wahrnehmen können.