Tokenite vektorid ja sarnasus

Tokeni vektor on ülestähendus tema seltskonnast. See toimib hästi sõnadel, millel on kindel seltskond, ja ebaõnnestub sõnadel, mis esinevad kõige kõrval.

Näidisarvutus — Tokenite vektorid ja sarnasus

Koosinussarnasus, A ja B	0,299
A esinemisi korpuses	230
B esinemisi korpuses	150
Vektoriga tokeneid	2742

Need on väärtused, mida kalkulaator lehe avamisel näitab. Muuda ülal mõnda sisendit, et need ümber arvutada.

Interaktiivse simulatsiooni laadimine...

Need vektorid loevad seltskonda; transformeri omad õpitakse 🖖

Iga siinne arv tuleb sellest, et loetakse, kui sageli kaks tokenit esinevad teineteisest nelja positsiooni kaugusel, ja see teisendatakse skooriks, mis on suur siis, kui paar esineb sagedamini kui juhus lubaks. See on päris meetod päris nimega ja see ei ole see, mis on keelemudeli sees. Transformeri vektorid algavad juhuslikena ja neid kohendatakse treenimise käigus, kuni need aitavad järgmist tokenit ennustada; nii kodeerivad nad lõpuks seda, mis ennustamist hõlbustas — sealhulgas asju, mida ükski loendamismeetod ei leiaks. Võrdlusest jääb alles kuju: tokenist saab suund ja lähedus on nurk suundade vahel.

Lähedane naaber ei ole sünonüüm 🖖

␣Earthi naabrid on ␣planet, ␣Sun, ␣Jupiter ja ␣Moon — ükski neist ei tähenda Maad. ␣stari omad on ␣yellow, ␣white ja ␣red, mis on tema omadused, mitte sünonüümid. Just seda distributiivne sarnasus mõõdabki: mitte seda, mida token tähendab, vaid seda, millest korpus rääkis, kui ta seda kasutas. Kaks tokenit saavad kõrge tulemuse siis, kui neid arutatakse samas seltskonnas — ja koos arutatud olemine on palju laiem suhe kui sama tähendamine.

Siin ei ole kaarti, ja see ei ole tegematajätmine 🖖

Igal vektoril on üks mõõde iga teise tokeni kohta, mille kõrval ta esineda saab — neid on 2742 — ja miski sellel lehel ei taanda seda kaheks. Koosinus ei vaja seda: nurk kahe suuna vahel on määratud ükskõik mitmes mõõtmes, ja ülalolev ruudustik näitab kõiki nurgapaare otse. Lamedad hajuvusdiagrammid, mida oled mujal näinud, on projektsioon, mis on valitud loetavuse, mitte täpsuse järgi; kaks tokenit, mis seal kõrvuti paistavad, võivad olla kaugel selles ruumis, kus arvud tegelikult elavad.

Ülesanne täielikult lahendatud

Maa ja Päike väärtusel 0,299 13 kohtumise lõikes 6 sammu
Paneelis on ␣Maa ja ␣Päike skooriks 0,299. Maa esineb korpuses 230 korda ja Päike 150 korda kokku 385 078 tokeni seas, mis avavad kahe peale 2 770 646 kontekstipesa, ning need kaks asuvad teineteisest 4 tokeni piires 13 korda. Arvuta, kui palju sellest 0,299 skoorist annavad need 13 kokkupuudet.
1. Iga kontekstisõna kohta on üks koordinaat ning enne mis tahes võrdlemist skaalatakse vektorid pikkusele 1. Just see skaalamine teeb koosinussarnasusest lihtsa skalaarkorrutise: 0,299 on korrutiste summa, mille iga liige vastab ühele kontekstisõnale, mis on kahel tokenil ühine.
  
  $cos θ = \frac{a \cdot b}{∥ a ∥ ∥ b ∥} = \overset{a}{^} \cdot \hat{b} = c \sum \overset{a}{^}_{c} \hat{b}_{c}$
2. Koordinaat kujutab endast üllatussuhet, mitte esinemisarvu — kui tihti see paar tegelikult koos esineb võrreldes sellega, kui tihti nad sattuksid kokku segatud korpuses. Negatiivne üllatus piiratakse väärtusega 0, seega registreerib vektor selle, mille poole token tõmbub, ega saa kuidagi jäädvustada seda, mida see väldib.
  
  $a_{c} = max (0, ln \frac{n _{A c} / P}{( f _{A} / T ) ( f _{c} / T )})$
3. Alustame juhusest. Maale kuulub 230 positsiooni 385 078-st ja Päikesele 150, seega kõigi 2 770 646 pesa peale võiks seda paari oodata 0,6446 korda — vähem kui 1 esinemist terve korpuse peale.
  
  $E = P \cdot \frac{f _{A}}{T} \cdot \frac{f _{B}}{T} = 2770646 \cdot \frac{230}{385 078} \cdot \frac{150}{385 078} = 0.6446$
4. Need esinevad koos 13 korda ehk 20,17 korda rohkem kui juhus ennustab, ning koordinaadiks on selle suhte logaritm: 3,004. Mõlemad vektorid saavad sama väärtuse, sest esinemisarv ja mõlemad sagedused on mõlemas suunas loetuna samad.
  
  $\frac{n}{E} = \frac{13}{0.6446} = 20.17 ⟹ a_{B} = b_{A} = ln 20.17 = 3.004$
5. Nüüd skaalame. Maa vektoril on 419 positiivset koordinaati ja pikkus 30,381; Päikese vektoril on 302 ning pikkus 29,144. Jagades väärtuse 3,004 kummagagi, saame ühikkoordinaatideks 0,0989 ja 0,1031.
  
  $\overset{a}{^}_{B} = \frac{3.004}{30.381} = 0.0989, \hat{b}_{A} = \frac{3.004}{29.144} = 0.1031$
6. Nende korrutis 0,0102 on nende 13 kokkupuute kogu panus. Maa ja Päike jagavad kokku 105 kontekstisõna; liites kõik 105 korrutist, saame tulemuseks 0,2992, mille tööriist ümardab väärtusele 0,299 — seega annavad otsesed tõendid 3,4% skoorist.
  
  $\overset{a}{^}_{B} \hat{b}_{A} = 0.0102, c \sum \overset{a}{^}_{c} \hat{b}_{c} = 0.2992, \frac{0.0102}{0.2992} = 3.4%$
Vastus

Tööriist väljastab tulemuseks 0,299 ja nende kahe sõna tegelikud kokkupuuted moodustavad sellest 0,0102. Ülejäänu on kaaslaste teene: 105 ühist kontekstisõna kokku 2 742 tokeni seast, millel üldse vektor olemas on. Sellest järeldub kaks asja. Kuna piiramine eemaldab iga negatiivse koordinaadi, on igaüks 105 korrutisest positiivne, mistõttu ulatub skaala 0-st 1-ni, mitte -1-st 1-ni — paar, millel pole midagi ühist, saab skooriks 0, mitte 1 vastandarvu. Nurgaks tõlgendatuna on 0,299 võrdne 72,6°-ga, mis asetab Maa ja Päikese 17,4° kaugusele täielikust ühisosa puudumisest. Ning skoorist kõrgemal asuv pingerida on peenem kui selle all olevad tõendid: ␣planeet on Maa naabrite nimekirja eesotsas skooriga 0,307, edestades Päikest 0,008 võrra, kuigi ainus Maa ja Päikese vaheline koordinaat on üksinda väärt 0,0102. Ainsast kontekstisõnast piisab, et muuta seda, millist tokenit nimetatakse lähimaks.

$θ = arccos 0.299 = 72. 6^{\circ} (θ_{m a x} = 9 0^{\circ})$

Õpitee

Kuidas LLM järgmise sõna valib

Viib edasi Temperatuur ja valim

Allikad (2)

The vector arithmetic this tool measures, in the paper that made it famous: T. Mikolov, K. Chen, G. Corrado and J. Dean, "Efficient Estimation of Word Representations in Vector Space." arXiv:1301.3781, 2013.
The co-occurrence counts underneath it, made explicit: J. Pennington, R. Socher and C. D. Manning, "GloVe: Global Vectors for Word Representation." Proceedings of EMNLP 2014, 1532–1543, 2014.

42Mathi meeskond · Uuendatud 2026-08-10

Kontrollitud avaldatud allikate põhjal. Parandused on teretulnud. Toimetamispõhimõtted · Parandused

Kõik Arvutustehnika õppetunnid →

Näiteülesanded

Sama teema - ␣Earth ja ␣Sun saavad 0,299. Earthi lähim naaber on ␣planet väärtusega 0,307 — astronoomia tokenid on koos, sest korpus käsitleb neid koos.
Peaaegu sünonüümid - ␣speed ja ␣velocity saavad 0,282 ning ␣speed on kõigi 2742 tokeni seas ␣velocity lähim naaber. Vaheldumisi kasutatavad sõnad hoiavad vaheldumisi seltskonda.
Eri teemad - ␣Earth ja ␣velocity saavad 0,122 — vähem kui pool Earth–Sun näitajast. Eri teemad, eri naabrid.
Kaks sagedast sõna - ␣the ja ␣is saavad 0,505, siinne kõrgeim paar ja kõrgem kui ␣Earth ja ␣Sun väärtusega 0,299. Kumbki ei jaga teisega mingit tähendust; mõlemad lihtsalt esinevad kõige kõrval.
Täht ja valgus - ␣star ja ␣light saavad 0,262 ning tähe enda naabrid on ␣yellow, ␣white ja ␣red — korpus räägib tähtedest värvi kaudu.