相談する

知識ゼロから完全に理解するLLM#3

LLMの出力は確率分布:次トークン予測の正体

LLMは言葉を選んでいません。出しているのは、語彙にあるすべてのトークンへの確率、つまり確率分布です。そこから一つを選ぶのは、サイコロの役目です。動画で見た分布とサイコロを、ここでは自分の手で動かしてみます。

  • POINT 1LLMの出力は、すべてのトークンへの確率。全部足すと100%になる。
  • POINT 2分布の形は文によって変わる。尖ることも、なだらかに広がることもある。
  • POINT 3確率に比例したサイコロで一つ選ぶ。これがサンプリング。

TRY 1

全部のトークンに、確率がついている

棒グラフに見えているのは、上位の数個だけです。スライダーを動かして、何位まで足すと全体のどれくらいになるかを確かめましょう。二つの文を切り替えると、分布の形がまったくちがうことも分かります。

昔々、あるところに、?

文をえらぶ
  • お33%
  • とても12%
  • 美しい3.2%
  • 魔法3.2%
  • 心2.0%
  • このモデルの語彙は 262,144 トークン。その一つ残らずに確率がついていて、全部足すと100%になります。
  • この文では、上位 4 個で50%、196 個で90%、1,515 個で99%に届きます。
  • いちばん確率の低いトークンは、小数点の後ろにゼロが 21 個並ぶ小ささです。それでもゼロではありません。

TRY 2

サイコロを振って、言葉を引く

確率の一覧から一つ選ぶのは、目の出やすさがそろっていないサイコロです。確率が高いトークンほど当たりやすくなります。まず一回ずつ振って、そのあと100回、1000回とまとめて振ってみましょう。

昔々、あるところに、?

文をえらぶ

ボタンを押して、サイコロを振ってみましょう。どのトークンが出るかは、振るまで分かりません。

  • トークン確率引いた割合(回数)
  • お
    33%
    — (0)
  • とても
    12%
    — (0)
  • 美しい
    3.2%
    — (0)
  • 魔法
    3.2%
    — (0)
  • 心
    2.0%
    — (0)
  • と
    1.7%
    — (0)
  • ひ
    1.5%
    — (0)
  • いつも
    1.1%
    — (0)
  • その他
    42%
    — (0)

「その他」は、31位より下の 262,114 個のトークンをまとめたものです。一つ一つは小さくても、合わせると無視できない大きさになります。このサイコロは、あなたのブラウザの乱数で振っています。

TRY 3

いつも1位か、サイコロか

いつも1位のトークンを選ぶと、何度やっても同じ文章になります。サイコロで選ぶと、最初の一つがちがうだけで、その先がすべて変わります。両方のボタンを何度か押して、くらべてみましょう。

昔々、あるところに、?

ボタンを押すと、モデルが実際に書いた続きが出ます。

    サイコロの結果は、モデルで実際に100回サンプリングしたものを順番に出しています(乱数の種 1〜100)。確率の低いトークンから始まった文章にも注目してください。

    CHECK

    たしかめクイズ

    今回わかったことを、三つの問題でたしかめましょう。

    Q1LLMが出力しているものは?

    Q2確率33%のトークンと、確率1%のトークン。サイコロで選ぶと?

    Q3確率がいちばん高いトークンは、「正しい答え」?

    このページの確率と文章は、すべて本物の言語モデル(Gemma 3 4B)の出力です。あらかじめ計算した結果を使っているので、サーバーには何も送られません。サイコロだけは、あなたのブラウザの中で振っています。