相談する

知識ゼロから完全に理解するLLM#20

埋め込み(Embedding)とは?トークン埋め込み表の仕組み

LLM に届くのはトークンの ID(番号)です。そこから 2560 個の数のベクトルを出す方法は、とても簡単。大きな表の、その ID の行を取り出すだけです。Gemma 3 の本物の埋め込み表の行を、自分で取り出して、書き換えてみましょう。

  • POINT 1トークン埋め込み表は、行がトークンの数(262144行)、1行に 2560 個の数が並んだ表。行の番号がトークン ID で、その行がそのトークンのベクトル(埋め込み)です。
  • POINT 2埋め込みを取るとは、ID の行を取り出すだけ。one-hot ベクトルと表を掛けても、まったく同じ行が出ます(長さ 262144 の one-hot で 671088640 回掛けて確かめると、2560 個とも同じ)。
  • POINT 3表の数は学習で決まるパラメータで、Gemma 3 4B では全体の約 17%(671088640 個)。同じトークンは、文のどこに出てきても同じ行です。

TRY 1

表から行を取り出す

3D の図は、埋め込み表です。このページが持っている行を、ID の順に並べています(あいだの「⋮」には、ほかの何万もの行があります)。行をクリックするか、下のボタンを押すと、その行が取り出されます。

「猫」 = 239959 行目を取り出しました

−0.01320.00990.01320.0066−0.00660.00490.00490.0214… (2560)

帯は、2560 個の数を左から順に1本ずつ色にしたもの。水色 = プラス、ピンク = マイナス、暗い = 0。

行の番号(ID)239959
1行の数の個数2560
0 でない数2499
長さ0.989
×√2560 ≈ 50.6 した長さ50.0
このファイルでの1行の大きさ2100 BQ6_K 形式(4バイトの数なら 10240 B)

表全体は 262144 行 × 2560 列 = 671088640 個の数。Gemma 3 4B のパラメータ 3880099328 個の約 17.3% です。Gemma は、取り出した行に √2560 を掛けてから最初の層に渡します(llama.cpp のソースで確認)。

TRY 2

数を書き換える

上で取り出した行の、最初の8個の数を書き換えてみましょう。長さと、ほかの言葉とのコサイン類似度(第18回)が、2560 個の数全部を使って計算し直されます。

書き換えるのは「猫」(239959 行目)

長さ: 元 0.989 → 今 0.989

「猫」と、ほかの行のコサイン類似度

犬0.35
車0.13
電車0.08
魚0.18
鳥0.19
が0.09
を見た0.05

数を大きく動かすと、ほかの言葉との近さが変わります。

TRY 3

文を、表で引く

トークンを押して並べると、1つずつ ID の行に置きかわり、重ねた数のかたまりになります。同じトークンを2回入れてみましょう。

トークンを押して文を作る(8個まで)

猫が猫を見た

4 行 × 2560 列の数のかたまり → モデルの最初の層へ

猫239959
が237053
猫239959
を見た231708

同じトークンは、同じ行(2560 個の数が全部同じ)。表を引く段階では、前後の言葉も、何番目かも見ていません。

TRY 2 で書き換えた行は、ここでも書き換えたまま使われます。

TRY 4

one-hot × 表 = 1行

小さな表(本物の4つの行の、最初の4個の数)で、one-hot ベクトルと表の掛け算を1行ずつ計算します。1 をどこに立てるか選んでから、「1行進める」を押してください。

1 を立てる行
one-hot1 番目2 番目3 番目4 番目
猫0×0.00000.00000.00000.0000
犬1×−0.0142−0.00240.01770.0059
車0×0.00000.00000.00000.0000
電車0×0.00000.00000.00000.0000
合計=−0.0142−0.00240.01770.0059

合計は「犬」の行そのもの。1 を掛けた行だけが残り、0 を掛けた行は消えました。

本物の大きさでも計算しました: 長さ 262144 の one-hot と 262144 × 2560 の表全体を掛ける(671088640 回の掛け算)と、結果は表から直接取り出した「猫」の行と、2560 個とも完全に同じでした。だからモデルは掛け算をせず、行を直接取り出します。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1Gemma 3 の埋め込み表で、「猫」(ID 239959)の埋め込みはどこにある?

Q2「猫が猫を見た」の2つの「猫」の埋め込みは?

Q3one-hot ベクトル (0, 1, 0, 0) と 4 行の表を掛けると?

行の数は、Gemma 3 4B (Q4_K_M) のファイル(GGUF)の埋め込み表(token_embd.weight、Q6_K)を llama.cpp の gguf-py で取り出したものです(1万倍して整数に丸めて保存)。長さとコサイン類似度は、ブラウザで計算しています。サーバーには何も送りません。

FINISH

この回を見終わったら

COMMENTS

コメント・質問

わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。

読み込み中…