高次元ベクトル空間:LLMの埋め込みが何百次元もある理由
「猫」を表す数は、Gemma 3 4B では 2560 個。つまり 2560 次元です。次元とは、自由に動かせる数の個数のこと。数が増えると、3 次元の感覚では想像できないことが起きます。でたらめに引いた 2 本の矢印が、ほとんど必ず「ほぼ直角」になるのです。自分で次元を増やして、確かめてください。
- POINT 1次元とは、自由に動かせる数の個数です。きっちり直角(内積が 0)な向きは、次元の数だけしか置けません。
- POINT 2でも、高い次元では、でたらめな向きどうしが、ほぼ直角になります。「ほぼ直角」でよければ、置ける向きの数は、次元とともに爆発的に増えます。2560 次元では、1 万本置いても 1 本もぶつかりませんでした。
- POINT 3だから、たくさんの性質を、混ざらないように重ねて持てます。1 つの次元が 1 つの意味、ではありません。意味を持つのは「向き」です。次元を減らすと、近所が壊れます。
TRY 1
次元を増やして、角度を測る
つまみで次元の数を変えると、その場で、でたらめな向きの矢印を 2 本ずつ引いて、角度を測ります。球の上の点は、1 本目を北極に合わせたときの、2 本目の角度です(経度には意味がありません)。緑の帯が、80° から 100° です。
あらかじめ 10 万組で計算した値: 80°〜100° に 17%。角度は 0.5° から 179.6° まで。
2 次元では、どの角度も同じように出ます。3 次元では、北極の近くは狭く、赤道のまわりは広いので、90° の近くが多くなります。次元が増えるほど、この「赤道」がどんどん広くなり、ほとんどの点が赤道に集まります。乱数は、ブラウザの中で引いています。
TRY 2
「ほぼ直角」な向きを、置けるだけ置く
でたらめな向きを 1 本ずつ引いて、すでに置いた向きのどれとも 80°〜100° なら残し、そうでなければ捨てます。ボタンを押すたびに、2000 回引きます。
3 次元: 引いた数 0、置けた数 0、捨てた数 0。
あらかじめ計算した結果(100 万回引くか、1 万本置けたら終わり)
| 次元 | 置けた数 | 捨てた数 |
|---|---|---|
| 2 | 2 | 999,998 |
| 3 | 3 | 999,997 |
| 4 | 4 | 999,996 |
| 5 | 5 | 999,995 |
| 6 | 6 | 999,994 |
| 8 | 8 | 999,992 |
| 10 | 10 | 999,990 |
| 15 | 14 | 999,986 |
| 20 | 17 | 999,983 |
| 30 | 26 | 999,974 |
| 50 | 41 | 999,959 |
| 100 | 119 | 999,881 |
| 200 | 670 | 999,330 |
| 300 | 3,093 | 996,907 |
| 500 | 10,000 * | 6,538 |
| 1,000 | 10,000 * | 2 |
| 2,560 | 10,000 * | 0 |
* は、1 万本置けたので打ち切ったものです。2560 次元では、1 万本置くあいだに、捨てた矢印は 0 本でした。きっちり直角に並べれば、どの次元でも次元の数だけは必ず置けます。でたらめに引く方法では、15〜50 次元のあたりで次元の数に少し届きませんが、100 次元を超えると、次元の数をどんどん上回ります。
TRY 3
性質を重ねて、読み戻す
性質 1 つに、でたらめな向きを 1 つ割り当てます。向きを 1500 個用意して、そこからいくつか選んで足し合わせ、内積で「どれを足したか」を当てます。次元が低いと、ほかの向きと混ざって、当てられません。
「試す」を押すと、向きを作って、足して、内積を取ります。
あらかじめ計算した結果(向き 1 万個、1000 回試したうちの、全部当たった回数)
| 次元 | 3 個重ねる | 10 個重ねる |
|---|---|---|
| 3 | 0 | 0 |
| 10 | 0 | 0 |
| 30 | 43 | 0 |
| 100 | 997 | 0 |
| 300 | 1,000 | 696 |
| 1,000 | 1,000 | 1,000 |
| 2,560 | 1,000 | 1,000 |
棒は、内積の大きい順に 40 個。黄色が足した向き、赤が「まちがって上位に来た向き」、点線より左が上位です。重ねる数が多いほど、また、見分けたい向きの数が多いほど、たくさんの次元が要ります。
TRY 4
次元を減らすと、近所が壊れる
Gemma 3 4B の本物の埋め込み(5000 語、2560 次元)を、いちばん大事な向きから順に k 個だけ残して、つぶします。もとの「いちばん近い 10 語」が、つぶしたあとも「近い 10 語」に残っているかを数えました。
2,560 次元: 5000 語の平均で、近所の 100% が残ります。
「猫」 の、2,560 次元での「近い 10 語」。もとからの近所は 10 語です。
実線の枠 = もとからの近所。点線の枠 = つぶしたせいで、近くに来た言葉。 「大事な向き」は、主成分分析(5000 語の散らばりがいちばん大きい向きから順に選ぶ方法)で決めました。いちばん上手に選んでも、2 次元では近所はほとんど残りません。第 21 回の地図が近所を保てなかったのは、このためです。
TRY 5
本物の Gemma で測ったこと
ここまでの実験は、乱数でした。本物の埋め込み表でも、同じことが起きているかを測りました。
5000 語の、すべての組み合わせ 12,497,500 組の角度: 平均 87.1°。80°〜100° に 99.8%。80° より小さい(近い)組は 0.18% だけです。
「大文字にする向き」: 小文字と大文字の単語の組 2,100 組から作り、残りの 2,099 組で試すと、すべての組で正しい側を指しました。この向きの中で、いちばん大きい 1 つの次元が占めるのは 7%。半分を集めるのに 94 個、9 割を集めるのに 861 個の次元が要ります。
ただし、正直に書くと、1,335 番目の次元 1 つだけでも、大文字と小文字を 99.4% 見分けられました。1 つの次元にかなり集まっている性質も、あります。また、「大文字の向き」と「複数形の向き」の角度は 84° で、ほぼ直角でした。
いろいろなモデルの、埋め込みの次元の数
| モデル | 次元 |
|---|---|
| Gemma 3 270M | 640 |
| GPT-2 | 768 |
| Gemma 3 1B | 1,152 |
| Gemma 3 4B | 2,560 |
| Gemma 3 12B | 3,840 |
| Gemma 3 27B | 5,376 |
本物の埋め込みの角度の平均が 90° より少し小さいのは、どの言葉にも共通の成分が少し入っているからです。次元を 2 倍にすると、行列の中の数はおよそ 4 倍になるので、次元の数は、計算の重さとのかねあいで決められています。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q13 次元の部屋の中に、おたがいに「きっちり直角」な向きは、何本まで置ける?
Q22560 次元で、でたらめな矢印を 2 本引くと、角度は?
Q32560 個の次元の 1 つ 1 つが、「大文字」「動物」のような 1 つの意味を受け持っている?
NEXT #25
LLMは語順をどう知るのか:位置情報の問題
次回は、語順です。LLM は、言葉の並び順を、どうやって知るのか。実は、ここに大きな問題があります。
乱数の実験(TRY 1〜3)は、ブラウザの中で計算しています。サーバーには何も送りません。表の数と TRY 4・5 は、あらかじめ計算したものです(本物の埋め込みは Gemma 3 4B (Q4_K_M)、gemma-3-4b-it-Q4_K_M.gguf から読み出し)。
FINISH
COMMENTS
コメント・質問
わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。
読み込み中…