埋め込み(Embedding)とは?トークン埋め込み表の仕組み
LLM に届くのはトークンの ID(番号)です。そこから 2560 個の数のベクトルを出す方法は、とても簡単。大きな表の、その ID の行を取り出すだけです。Gemma 3 の本物の埋め込み表の行を、自分で取り出して、書き換えてみましょう。
- POINT 1トークン埋め込み表は、行がトークンの数(262144行)、1行に 2560 個の数が並んだ表。行の番号がトークン ID で、その行がそのトークンのベクトル(埋め込み)です。
- POINT 2埋め込みを取るとは、ID の行を取り出すだけ。one-hot ベクトルと表を掛けても、まったく同じ行が出ます(長さ 262144 の one-hot で 671088640 回掛けて確かめると、2560 個とも同じ)。
- POINT 3表の数は学習で決まるパラメータで、Gemma 3 4B では全体の約 17%(671088640 個)。同じトークンは、文のどこに出てきても同じ行です。
TRY 1
表から行を取り出す
3D の図は、埋め込み表です。このページが持っている行を、ID の順に並べています(あいだの「⋮」には、ほかの何万もの行があります)。行をクリックするか、下のボタンを押すと、その行が取り出されます。
「猫」 = 239959 行目を取り出しました
帯は、2560 個の数を左から順に1本ずつ色にしたもの。水色 = プラス、ピンク = マイナス、暗い = 0。
表全体は 262144 行 × 2560 列 = 671088640 個の数。Gemma 3 4B のパラメータ 3880099328 個の約 17.3% です。Gemma は、取り出した行に √2560 を掛けてから最初の層に渡します(llama.cpp のソースで確認)。
TRY 2
数を書き換える
上で取り出した行の、最初の8個の数を書き換えてみましょう。長さと、ほかの言葉とのコサイン類似度(第18回)が、2560 個の数全部を使って計算し直されます。
書き換えるのは「猫」(239959 行目)
「猫」と、ほかの行のコサイン類似度
数を大きく動かすと、ほかの言葉との近さが変わります。
TRY 3
文を、表で引く
トークンを押して並べると、1つずつ ID の行に置きかわり、重ねた数のかたまりになります。同じトークンを2回入れてみましょう。
トークンを押して文を作る(8個まで)
4 行 × 2560 列の数のかたまり → モデルの最初の層へ
同じトークンは、同じ行(2560 個の数が全部同じ)。表を引く段階では、前後の言葉も、何番目かも見ていません。
TRY 2 で書き換えた行は、ここでも書き換えたまま使われます。
TRY 4
one-hot × 表 = 1行
小さな表(本物の4つの行の、最初の4個の数)で、one-hot ベクトルと表の掛け算を1行ずつ計算します。1 をどこに立てるか選んでから、「1行進める」を押してください。
| one-hot | 1 番目 | 2 番目 | 3 番目 | 4 番目 | ||
|---|---|---|---|---|---|---|
| 猫 | 0 | × | 0.0000 | 0.0000 | 0.0000 | 0.0000 |
| 犬 | 1 | × | −0.0142 | −0.0024 | 0.0177 | 0.0059 |
| 車 | 0 | × | 0.0000 | 0.0000 | 0.0000 | 0.0000 |
| 電車 | 0 | × | 0.0000 | 0.0000 | 0.0000 | 0.0000 |
| 合計 | = | −0.0142 | −0.0024 | 0.0177 | 0.0059 |
合計は「犬」の行そのもの。1 を掛けた行だけが残り、0 を掛けた行は消えました。
本物の大きさでも計算しました: 長さ 262144 の one-hot と 262144 × 2560 の表全体を掛ける(671088640 回の掛け算)と、結果は表から直接取り出した「猫」の行と、2560 個とも完全に同じでした。だからモデルは掛け算をせず、行を直接取り出します。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1Gemma 3 の埋め込み表で、「猫」(ID 239959)の埋め込みはどこにある?
Q2「猫が猫を見た」の2つの「猫」の埋め込みは?
Q3one-hot ベクトル (0, 1, 0, 0) と 4 行の表を掛けると?
NEXT #21
単語埋め込みの意味空間:似た言葉が近くに集まる理由
次回は、単語埋め込みの意味空間。似た言葉が、なぜ近くに集まるのかを、地図にして見ます。
行の数は、Gemma 3 4B (Q4_K_M) のファイル(GGUF)の埋め込み表(token_embd.weight、Q6_K)を llama.cpp の gguf-py で取り出したものです(1万倍して整数に丸めて保存)。長さとコサイン類似度は、ブラウザで計算しています。サーバーには何も送りません。
FINISH
COMMENTS
コメント・質問
わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。
読み込み中…