相談する

知識ゼロから完全に理解するLLM#2

LLMの文章生成の仕組み:自己回帰で1トークンずつ書く

LLMは、文章をまとめて書いているわけではありません。次のトークンを一つ予測して足し、また予測する。そのくり返しです。動画で見た動きを、ここでは一歩ずつ自分で進めてみます。

  • POINT 1文章は、トークンを一つずつ足して作られる(自己回帰)。
  • POINT 2一度書いたトークンは取り消せず、その先の文章を決めてしまう。
  • POINT 3終了トークンが選ばれたときに、生成は止まる。

TRY 1

単位は「言葉」ではなく「トークン」

第1回では「一語ずつ」と言いましたが、LLMが実際に扱う単位はトークンです。一語がそのまま一つのトークンになることもあれば、いくつかに分かれることもあります。本物の区切りを見てみましょう。

昔々、あるところに、おじいさんとおばあさんが住んでいました。

  1. 昔
  2. 々
  3. 、
  4. ある
  5. ところに
  6. 、
  7. お
  8. じ
  9. い
  10. さんと
  11. お
  12. ば
  13. あ
  14. さんが
  15. 住
  16. んで
  17. いました
  18. 。

この文は 30 文字で、トークンは 18 個です。「·」は空白、「⏎」は改行を表します。

番号は、モデルの中でそのトークンにつけられたIDです。モデルが実際に受け取るのは、文字ではなくこの番号の列です。

TRY 2

一つずつ足して、答えができるまで

質問への答えも、トークンを一つずつ足して作られます。ボタンを押すたびに、AIは次のトークンの候補に確率をつけ、1位を足します。ピンクの棒は「終了トークン」の確率です。いつ上がってくるか、注目してください。

あなた日本でいちばん高い山は何ですか?一文で短く答えてください。

AI

ボタンを押して、最初のトークンを予測させましょう。

このモデルの終了トークンは <end_of_turn> です。画面には表示されませんが、これも語彙の中の一つのトークンです。

TRY 3

一度書いたら、もどれない

LLMは、書いたトークンを消して書き直すことができません。もし1位ではないトークンが選ばれたら、その先の文章はそのトークンに合わせて続いていきます。自分で選んで、たしかめてみましょう。

日本でいちばん高い山は?

次のトークンを選んでください。1位でも、それ以外でもかまいません。

足すトークンをえらぶ
  • 富士97%
  • 南0.2%
  • 日本0.2%
  • 「0.1%

TRY 4

同じ書き出しでも、毎回ちがう文章

いつも1位を選ぶのではなく、確率にしたがってくじを引くように選ぶと、同じ書き出しからちがう文章ができます。ボタンを押して、五回生成してみましょう。

昔々、あるところに、?

    同じ書き出しから、くじ引きで生成してみます。

    これは、乱数の種を変えて実際に生成した五つの結果です。どうやってくじを引くのかは、第3回でくわしく見ます。

    CHECK

    たしかめクイズ

    今回わかったことを、三つの問題でたしかめましょう。

    Q1LLMが文章を作るときの単位は?

    Q2LLMは、いつ文章を書くのをやめる?

    Q3途中で1位ではないトークンが選ばれたら、どうなる?

    このページのトークンと確率は、すべて本物の言語モデル(Gemma 3 4B)の出力です。あらかじめ計算した結果を使っているので、サーバーには何も送られません。