LLMは文字をどう数値にするのか:トークンIDの基礎
ニューラルネットは計算する仕組みなので、数しか扱えません。だからLLMは、文章を受け取るとまず全部を数に変えます。このページでは、文字を数に変え、数をいじり、また文字に戻すところまでを、自分の手で試します。
- POINT 1LLMが読むのは文字ではなく、トークンIDという数の列。
- POINT 2語彙の表を引いて、文字を数に(エンコード)、数を文字に(デコード)変える。
- POINT 3トークンIDはただの背番号。番号の大きさや近さは、意味と関係がない。
TRY 1
文字には、もともと番号がある
コンピューターは、LLMが生まれるずっと前から、文字を数として扱っています。すべての文字に世界共通の番号(文字コード)が決まっているからです。好きな文字を打って、番号を見てみましょう。番号を1つ動かすと、文字も変わります。
「猫」の番号は 29483 です。全部で 3 文字、つまり 3 個の数です。文字を選んで、番号を動かしてみましょう。
この番号は Unicode(ユニコード)という世界共通の規格で決まっています。あなたのブラウザがその場で調べたもので、ひらがなや英字は番号が順番に並んでいます。ただしLLMは、この番号をそのまま使うわけではありません。次のブロックへ進みましょう。
TRY 2
エンコード:文をトークンIDの列に変える
LLMが読む単位は、文字ではなくトークンでした(第2回)。モデルは、知っているトークンを全部並べた「語彙」という表を持っていて、何番目にあるかがトークンIDです。文を切って、一つずつ表を引いてみましょう。
猫は魚が好きです。
まず、文をトークンに切ります。
このモデルの語彙の表は、0番から数えて 262,144 行あります。切り方のルールは、第9回からくわしく学びます。
TRY 3
数をいじって、文字に戻す
今度は、数のほうを変えてみます。トークンを一つ選んで、IDを1ずつ動かしてください。下にはデコードした結果が出ます。番号がとなりのトークンは、意味もとなりでしょうか?
動かすトークンを選んでください
いまの数の列[239959, 237048, 239973, 191062, 3652, 236924]
デコードすると猫は魚が好きです。
トークンを選んで、IDを +1 か −1 してみましょう。
IDは、元の番号から前後 6 つまで動かせます(このページには、そのぶんの表だけを入れてあります)。出てくるトークンは、すべて本物の語彙の表のものです。世界中の言葉や記号のかけらが、意味と関係なく並んでいるのが分かります。
TRY 4
同じに見えても、番号は別
同じトークンには、いつも同じIDがつきます。でも、人間には同じ言葉に見えても、書き方がちがえば別のトークンです。カードを押して、番号を確かめてください。数字も、ただのトークンです。
どれも同じ言葉に見えます。番号は同じでしょうか? 押して確かめましょう。
数字の 0〜9 も、それぞれ一つのトークンです。下の小さい数がトークンID。
- 0236771
- 1236770
- 2236778
- 3236800
- 4236812
- 5236810
- 6236825
- 7236832
- 8236828
- 9236819
文字の「7」のIDは 7 ではありません。しかも、0〜9 の順番どおりにも並んでいません(ピンクの枠は、前の数字よりIDが小さいもの)。
LLMが桁の多い計算や文字数を間違えることがあるのは、こうした仕組みも関係しています。くわしくは第16回で。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1LLMが実際に受け取っているものは?
Q2あるトークンのIDを1だけ大きくすると、どうなる?
Q3モデルの出力は、どうやって文字になる?
NEXT #7
LLMのパラメータとは?モデルは巨大な関数
次回は、数の列を受け取ったモデルが中で何をしているのか。モデルを一つの巨大な関数として見て、「パラメータ」とは何かを学びます。
このページのトークン、トークンID、表の並びは、すべて本物の言語モデル(Gemma 3 4B、語彙 262,144 行)のものです。あらかじめ取り出した結果を使っているので、サーバーには何も送られません。文字コードは、あなたのブラウザがその場で計算しています。