相談する

知識ゼロから完全に理解するLLM#8

LLMの全体像:トークン化からTransformer、生成まで

LLMという巨大な関数の中は、5つの工程が一列に並んでいます。文を切る、数の並びにする、何段も加工する、確率にする、1つ選ぶ。このページでは、地図の工程をクリックして、それぞれの部品の中にある本物の数をのぞきます。

  • POINT 1LLMの中は5つの工程:トークン化、埋め込み、Transformerブロック、出力層、選ぶ。
  • POINT 2Transformerブロックは、アテンションで集めて、フィードフォワードで加工する。このモデルでは34段。
  • POINT 31トークン書くたびに、全工程を一周する。この地図は、シリーズ全100回の目次でもある。

TRY 1

全工程の地図をクリックして、部品の中をのぞく

LLMの中は、5つの工程が一列に並んでいます。地図の工程をクリックすると、その部品の中で、本物のモデル(Gemma 3 4B)が実際に扱っている数が見られます。

↩ 5 で選んだトークンは、文のうしろに足されて 1 に戻る

1. トークン化切る

文「日本で一番高い山は」を、モデルの切り方で切ると 6 個のトークンになります。そして、トークンごとに決まった番号(トークンID)に置き換わります。

  • 日本10956
  • で237007
  • 一番58412
  • 高い42459
  • 山237845
  • は237048

棒の上の数がトークンIDです。番号は名札のようなもので、大きさに意味はありません(棒の高さは全部同じにしてあります)。実際には、先頭に開始の目印 <bos>(ID 2)も付きます。

くわしく学ぶ回: 第2部(第9〜16回)文字をトークンにする

数はすべて、本物のモデルで測った値か、モデルのファイルから読み取った値です(パラメータは全部で 3,880,099,328 個)。

TRY 2

1トークン書くたびに、地図を一周する

ボタンを押すと、5つの工程を順番に通って、トークンが1つ決まります。それを文のうしろに足して、また一周。何周したか、ブロックを何段通ったかを数えてみましょう。

  1. 1トークン化
  2. 2埋め込み
  3. 3Transformerブロック
  4. 4出力層
  5. 5選ぶ

↩ 5 で選んだトークンは、文のうしろに足されて 1 に戻る

ここまでの文日本で一番高い山は

周回: 0ブロックを通った数: 34 × 0 = 0

  • 富士94%
  • 、3.8%
  • 日本0.6%
  • 南0.5%
  • 「0.3%

まだ0周です。ボタンを押すと、1 から 5 まで順番に通って、1位の「富士」(94%)が選ばれます。

本物のモデルが、毎回1位の候補を選んだときの結果です(8周ぶんを測ってあります)。文章を書いているあいだ、パラメータは1つも変わりません。

TRY 3

この地図は、全100回の目次

シリーズの12の部は、地図のどこかに対応しています。部をクリックすると、地図のどの工程を学ぶ部なのかが分かります。

  1. 1トークン化
  2. 2埋め込み
  3. 3Transformerブロック
  4. 4出力層
  5. 5選ぶ

↩ 5 で選んだトークンは、文のうしろに足されて 1 に戻る

第2部 文字をトークンにする — 地図の「1 トークン化」をくわしく学びます(第9〜16回)。

丸の中の数字は、地図の工程の番号です。上の帯は全100回で、白い枠が今回(第8回)です。

CHECK

たしかめクイズ

今日わかったことを、三つの問題でたしかめましょう。

Q1LLMの中の工程を、正しい順番に並べたものは?

Q2Transformerブロックの中の「アテンション」は、何をする部品?

Q334段のブロックを持つモデルが、100トークンの答えを書きます。ブロックは合計で何段通る?

トークン、ID、埋め込みの値、確率、続きの文は、すべて本物の言語モデル(Gemma 3 4B、パラメータ 3,880,099,328 個)で実際に測ったもの、またはモデルのファイルから読み取ったものです。あらかじめ計算した結果を使っているので、サーバーには何も送りません。