LLMの全体像:トークン化からTransformer、生成まで
LLMという巨大な関数の中は、5つの工程が一列に並んでいます。文を切る、数の並びにする、何段も加工する、確率にする、1つ選ぶ。このページでは、地図の工程をクリックして、それぞれの部品の中にある本物の数をのぞきます。
- POINT 1LLMの中は5つの工程:トークン化、埋め込み、Transformerブロック、出力層、選ぶ。
- POINT 2Transformerブロックは、アテンションで集めて、フィードフォワードで加工する。このモデルでは34段。
- POINT 31トークン書くたびに、全工程を一周する。この地図は、シリーズ全100回の目次でもある。
TRY 1
全工程の地図をクリックして、部品の中をのぞく
LLMの中は、5つの工程が一列に並んでいます。地図の工程をクリックすると、その部品の中で、本物のモデル(Gemma 3 4B)が実際に扱っている数が見られます。
↩ 5 で選んだトークンは、文のうしろに足されて 1 に戻る
1. トークン化切る
文「日本で一番高い山は」を、モデルの切り方で切ると 6 個のトークンになります。そして、トークンごとに決まった番号(トークンID)に置き換わります。
- 日本10956
- で237007
- 一番58412
- 高い42459
- 山237845
- は237048
棒の上の数がトークンIDです。番号は名札のようなもので、大きさに意味はありません(棒の高さは全部同じにしてあります)。実際には、先頭に開始の目印 <bos>(ID 2)も付きます。
くわしく学ぶ回: 第2部(第9〜16回)文字をトークンにする
数はすべて、本物のモデルで測った値か、モデルのファイルから読み取った値です(パラメータは全部で 3,880,099,328 個)。
TRY 2
1トークン書くたびに、地図を一周する
ボタンを押すと、5つの工程を順番に通って、トークンが1つ決まります。それを文のうしろに足して、また一周。何周したか、ブロックを何段通ったかを数えてみましょう。
- 1トークン化
- 2埋め込み
- 3Transformerブロック
- 4出力層
- 5選ぶ
↩ 5 で選んだトークンは、文のうしろに足されて 1 に戻る
ここまでの文日本で一番高い山は
周回: 0ブロックを通った数: 34 × 0 = 0
- 富士94%
- 、3.8%
- 日本0.6%
- 南0.5%
- 「0.3%
まだ0周です。ボタンを押すと、1 から 5 まで順番に通って、1位の「富士」(94%)が選ばれます。
本物のモデルが、毎回1位の候補を選んだときの結果です(8周ぶんを測ってあります)。文章を書いているあいだ、パラメータは1つも変わりません。
TRY 3
この地図は、全100回の目次
シリーズの12の部は、地図のどこかに対応しています。部をクリックすると、地図のどの工程を学ぶ部なのかが分かります。
- 1トークン化
- 2埋め込み
- 3Transformerブロック
- 4出力層
- 5選ぶ
↩ 5 で選んだトークンは、文のうしろに足されて 1 に戻る
第2部 文字をトークンにする — 地図の「1 トークン化」をくわしく学びます(第9〜16回)。
丸の中の数字は、地図の工程の番号です。上の帯は全100回で、白い枠が今回(第8回)です。
CHECK
たしかめクイズ
今日わかったことを、三つの問題でたしかめましょう。
Q1LLMの中の工程を、正しい順番に並べたものは?
Q2Transformerブロックの中の「アテンション」は、何をする部品?
Q334段のブロックを持つモデルが、100トークンの答えを書きます。ブロックは合計で何段通る?
NEXT #9
トークン化とは?文字・単語・サブワードの違い
次回は、地図の最初の工程「トークン化」。文字・単語・サブワード、文を何の単位で切るのかをくらべます。
トークン、ID、埋め込みの値、確率、続きの文は、すべて本物の言語モデル(Gemma 3 4B、パラメータ 3,880,099,328 個)で実際に測ったもの、またはモデルのファイルから読み取ったものです。あらかじめ計算した結果を使っているので、サーバーには何も送りません。