LLMの出力は確率分布:次トークン予測の正体
LLMは言葉を選んでいません。出しているのは、語彙にあるすべてのトークンへの確率、つまり確率分布です。そこから一つを選ぶのは、サイコロの役目です。動画で見た分布とサイコロを、ここでは自分の手で動かしてみます。
- POINT 1LLMの出力は、すべてのトークンへの確率。全部足すと100%になる。
- POINT 2分布の形は文によって変わる。尖ることも、なだらかに広がることもある。
- POINT 3確率に比例したサイコロで一つ選ぶ。これがサンプリング。
TRY 1
全部のトークンに、確率がついている
棒グラフに見えているのは、上位の数個だけです。スライダーを動かして、何位まで足すと全体のどれくらいになるかを確かめましょう。二つの文を切り替えると、分布の形がまったくちがうことも分かります。
昔々、あるところに、?
- お33%
- とても12%
- 美しい3.2%
- 魔法3.2%
- 心2.0%
- このモデルの語彙は 262,144 トークン。その一つ残らずに確率がついていて、全部足すと100%になります。
- この文では、上位 4 個で50%、196 個で90%、1,515 個で99%に届きます。
- いちばん確率の低いトークンは、小数点の後ろにゼロが 21 個並ぶ小ささです。それでもゼロではありません。
TRY 2
サイコロを振って、言葉を引く
確率の一覧から一つ選ぶのは、目の出やすさがそろっていないサイコロです。確率が高いトークンほど当たりやすくなります。まず一回ずつ振って、そのあと100回、1000回とまとめて振ってみましょう。
昔々、あるところに、?
ボタンを押して、サイコロを振ってみましょう。どのトークンが出るかは、振るまで分かりません。
- トークン確率引いた割合(回数)
- お33%— (0)
- とても12%— (0)
- 美しい3.2%— (0)
- 魔法3.2%— (0)
- 心2.0%— (0)
- と1.7%— (0)
- ひ1.5%— (0)
- いつも1.1%— (0)
- その他42%— (0)
「その他」は、31位より下の 262,114 個のトークンをまとめたものです。一つ一つは小さくても、合わせると無視できない大きさになります。このサイコロは、あなたのブラウザの乱数で振っています。
TRY 3
いつも1位か、サイコロか
いつも1位のトークンを選ぶと、何度やっても同じ文章になります。サイコロで選ぶと、最初の一つがちがうだけで、その先がすべて変わります。両方のボタンを何度か押して、くらべてみましょう。
昔々、あるところに、?
ボタンを押すと、モデルが実際に書いた続きが出ます。
サイコロの結果は、モデルで実際に100回サンプリングしたものを順番に出しています(乱数の種 1〜100)。確率の低いトークンから始まった文章にも注目してください。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1LLMが出力しているものは?
Q2確率33%のトークンと、確率1%のトークン。サイコロで選ぶと?
Q3確率がいちばん高いトークンは、「正しい答え」?
NEXT #4
バイグラム言語モデル:数えるだけで作る最小の言語モデル
次回は、この確率がそもそもどこから来るのか。いちばん単純な作り方、数えるだけで作るバイグラム言語モデルを見ていきます。
このページの確率と文章は、すべて本物の言語モデル(Gemma 3 4B)の出力です。あらかじめ計算した結果を使っているので、サーバーには何も送られません。サイコロだけは、あなたのブラウザの中で振っています。