Lorem Ipsum ジェネレーターラボ
決定論的なlorem生成、情報理論の指標（エントロピー/温度）、そしてマルコフ連鎖のコンテキストループが現代の大規模言語モデル（LLM）の直接の祖先である仕組みを探る。
マルコフ連鎖からLLM・生成AIへ 🖖
マルコフ連鎖は現代の大規模言語モデル（LLM）の直接の数学的祖先です。両者とも同じ自己回帰型の次トークン予測ループで動作します。生成器は直前のN個の単語（コンテキストウィンドウ）を見て、確率分布から次の単語を選びます。マルコフ連鎖が小さなコーパス内で完全一致するフレーズを単純に検索するのに対し、LLMは数十億のパラメータ（注意層）を使ってコンテキストを評価し、確率を計算します。さらに、ここで目標エントロピーを調整することは、LLM APIの温度（Temperature）パラメータに直接対応します。エントロピーが高いほど創造的で多様なテキスト（高温度）になり、エントロピーが低いほど反復的で予測可能なテキスト（低温度）になります。
無意味な文章が優れたモックアップを生む理由 🖖
ダミーテキストは、言葉の実際の意味に気を取られることなく、余白・文字サイズ・改行といったレイアウトを評価するために存在します。本物の文章を入れると、レビュー担当者はデザインが固まる前から文面を書き直したくなってしまいます。このラボはさらに一歩進み、エントロピーとジップの法則の指標によって、ダミーテキストが実際の言語の単語頻度をどれだけ再現しているかを確認できます。おかげで段落は、最終的な本文と同じように折り返され、区切られます。
ロレム・イプサムは崩れたキケロ 🖖
「Lorem ipsum」は作り出された無意味な文字列ではなく、紀元前45年に書かれたキケロの倫理学書De finibus bonorum et malorumから取られ、かき混ぜられたラテン語です。しかも単語の途中から始まっています。Loremはdolorem（「苦痛」）の最初の音節を切り落とした残りなのです。つまりウェブの標準ダミーテキストは、快楽と苦痛をめぐる2000年前の考察が、初期の印刷業者によって活字見本へと崩されたものです。マルコフモードでは、彼らがかつて手作業でかき混ぜたものを、あなたが改めてかき混ぜ直せます。