LLMの文章生成の仕組み:自己回帰で1トークンずつ書く
LLMは、文章をまとめて書いているわけではありません。次のトークンを一つ予測して足し、また予測する。そのくり返しです。動画で見た動きを、ここでは一歩ずつ自分で進めてみます。
- POINT 1文章は、トークンを一つずつ足して作られる(自己回帰)。
- POINT 2一度書いたトークンは取り消せず、その先の文章を決めてしまう。
- POINT 3終了トークンが選ばれたときに、生成は止まる。
TRY 1
単位は「言葉」ではなく「トークン」
第1回では「一語ずつ」と言いましたが、LLMが実際に扱う単位はトークンです。一語がそのまま一つのトークンになることもあれば、いくつかに分かれることもあります。本物の区切りを見てみましょう。
昔々、あるところに、おじいさんとおばあさんが住んでいました。
- 昔
- 々
- 、
- ある
- ところに
- 、
- お
- じ
- い
- さんと
- お
- ば
- あ
- さんが
- 住
- んで
- いました
- 。
この文は 30 文字で、トークンは 18 個です。「·」は空白、「⏎」は改行を表します。
番号は、モデルの中でそのトークンにつけられたIDです。モデルが実際に受け取るのは、文字ではなくこの番号の列です。
TRY 2
一つずつ足して、答えができるまで
質問への答えも、トークンを一つずつ足して作られます。ボタンを押すたびに、AIは次のトークンの候補に確率をつけ、1位を足します。ピンクの棒は「終了トークン」の確率です。いつ上がってくるか、注目してください。
あなた日本でいちばん高い山は何ですか?一文で短く答えてください。
AI
ボタンを押して、最初のトークンを予測させましょう。
このモデルの終了トークンは <end_of_turn> です。画面には表示されませんが、これも語彙の中の一つのトークンです。
TRY 3
一度書いたら、もどれない
LLMは、書いたトークンを消して書き直すことができません。もし1位ではないトークンが選ばれたら、その先の文章はそのトークンに合わせて続いていきます。自分で選んで、たしかめてみましょう。
日本でいちばん高い山は?
次のトークンを選んでください。1位でも、それ以外でもかまいません。
- 富士97%
- 南0.2%
- 日本0.2%
- 「0.1%
TRY 4
同じ書き出しでも、毎回ちがう文章
いつも1位を選ぶのではなく、確率にしたがってくじを引くように選ぶと、同じ書き出しからちがう文章ができます。ボタンを押して、五回生成してみましょう。
昔々、あるところに、?
同じ書き出しから、くじ引きで生成してみます。
これは、乱数の種を変えて実際に生成した五つの結果です。どうやってくじを引くのかは、第3回でくわしく見ます。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1LLMが文章を作るときの単位は?
Q2LLMは、いつ文章を書くのをやめる?
Q3途中で1位ではないトークンが選ばれたら、どうなる?
NEXT #3
LLMの出力は確率分布:次トークン予測の正体
次回は、候補の中からどうやって一つを選ぶのか。「確率」と「くじ引き」の中身を見ていきます。
このページのトークンと確率は、すべて本物の言語モデル(Gemma 3 4B)の出力です。あらかじめ計算した結果を使っているので、サーバーには何も送られません。