相談する

知識ゼロから完全に理解するLLM#6

LLMは文字をどう数値にするのか:トークンIDの基礎

ニューラルネットは計算する仕組みなので、数しか扱えません。だからLLMは、文章を受け取るとまず全部を数に変えます。このページでは、文字を数に変え、数をいじり、また文字に戻すところまでを、自分の手で試します。

  • POINT 1LLMが読むのは文字ではなく、トークンIDという数の列。
  • POINT 2語彙の表を引いて、文字を数に(エンコード)、数を文字に(デコード)変える。
  • POINT 3トークンIDはただの背番号。番号の大きさや近さは、意味と関係がない。

TRY 1

文字には、もともと番号がある

コンピューターは、LLMが生まれるずっと前から、文字を数として扱っています。すべての文字に世界共通の番号(文字コード)が決まっているからです。好きな文字を打って、番号を見てみましょう。番号を1つ動かすと、文字も変わります。

「猫」の番号は 29483 です。全部で 3 文字、つまり 3 個の数です。文字を選んで、番号を動かしてみましょう。

この番号は Unicode(ユニコード)という世界共通の規格で決まっています。あなたのブラウザがその場で調べたもので、ひらがなや英字は番号が順番に並んでいます。ただしLLMは、この番号をそのまま使うわけではありません。次のブロックへ進みましょう。

TRY 2

エンコード:文をトークンIDの列に変える

LLMが読む単位は、文字ではなくトークンでした(第2回)。モデルは、知っているトークンを全部並べた「語彙」という表を持っていて、何番目にあるかがトークンIDです。文を切って、一つずつ表を引いてみましょう。

猫は魚が好きです。

まず、文をトークンに切ります。

このモデルの語彙の表は、0番から数えて 262,144 行あります。切り方のルールは、第9回からくわしく学びます。

TRY 3

数をいじって、文字に戻す

今度は、数のほうを変えてみます。トークンを一つ選んで、IDを1ずつ動かしてください。下にはデコードした結果が出ます。番号がとなりのトークンは、意味もとなりでしょうか?

動かすトークンを選んでください

いまの数の列[239959, 237048, 239973, 191062, 3652, 236924]

デコードすると猫は魚が好きです。

トークンを選んで、IDを +1 か −1 してみましょう。

下のトークンを押すと、列の最後に足せます(小さい数字がID)

IDは、元の番号から前後 6 つまで動かせます(このページには、そのぶんの表だけを入れてあります)。出てくるトークンは、すべて本物の語彙の表のものです。世界中の言葉や記号のかけらが、意味と関係なく並んでいるのが分かります。

TRY 4

同じに見えても、番号は別

同じトークンには、いつも同じIDがつきます。でも、人間には同じ言葉に見えても、書き方がちがえば別のトークンです。カードを押して、番号を確かめてください。数字も、ただのトークンです。

どれも同じ言葉に見えます。番号は同じでしょうか? 押して確かめましょう。

数字の 0〜9 も、それぞれ一つのトークンです。下の小さい数がトークンID。

  1. 0236771
  2. 1236770
  3. 2236778
  4. 3236800
  5. 4236812
  6. 5236810
  7. 6236825
  8. 7236832
  9. 8236828
  10. 9236819

文字の「7」のIDは 7 ではありません。しかも、0〜9 の順番どおりにも並んでいません(ピンクの枠は、前の数字よりIDが小さいもの)。

LLMが桁の多い計算や文字数を間違えることがあるのは、こうした仕組みも関係しています。くわしくは第16回で。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1LLMが実際に受け取っているものは?

Q2あるトークンのIDを1だけ大きくすると、どうなる?

Q3モデルの出力は、どうやって文字になる?

このページのトークン、トークンID、表の並びは、すべて本物の言語モデル(Gemma 3 4B、語彙 262,144 行)のものです。あらかじめ取り出した結果を使っているので、サーバーには何も送られません。文字コードは、あなたのブラウザがその場で計算しています。