相談する

知識ゼロから完全に理解するLLM#24

高次元ベクトル空間:LLMの埋め込みが何百次元もある理由

「猫」を表す数は、Gemma 3 4B では 2560 個。つまり 2560 次元です。次元とは、自由に動かせる数の個数のこと。数が増えると、3 次元の感覚では想像できないことが起きます。でたらめに引いた 2 本の矢印が、ほとんど必ず「ほぼ直角」になるのです。自分で次元を増やして、確かめてください。

  • POINT 1次元とは、自由に動かせる数の個数です。きっちり直角(内積が 0)な向きは、次元の数だけしか置けません。
  • POINT 2でも、高い次元では、でたらめな向きどうしが、ほぼ直角になります。「ほぼ直角」でよければ、置ける向きの数は、次元とともに爆発的に増えます。2560 次元では、1 万本置いても 1 本もぶつかりませんでした。
  • POINT 3だから、たくさんの性質を、混ざらないように重ねて持てます。1 つの次元が 1 つの意味、ではありません。意味を持つのは「向き」です。次元を減らすと、近所が壊れます。

TRY 1

次元を増やして、角度を測る

つまみで次元の数を変えると、その場で、でたらめな向きの矢印を 2 本ずつ引いて、角度を測ります。球の上の点は、1 本目を北極に合わせたときの、2 本目の角度です(経度には意味がありません)。緑の帯が、80° から 100° です。

0°45°90°135°180°

あらかじめ 10 万組で計算した値: 80°〜100° に 17%。角度は 0.5° から 179.6° まで。

2 次元では、どの角度も同じように出ます。3 次元では、北極の近くは狭く、赤道のまわりは広いので、90° の近くが多くなります。次元が増えるほど、この「赤道」がどんどん広くなり、ほとんどの点が赤道に集まります。乱数は、ブラウザの中で引いています。

TRY 2

「ほぼ直角」な向きを、置けるだけ置く

でたらめな向きを 1 本ずつ引いて、すでに置いた向きのどれとも 80°〜100° なら残し、そうでなければ捨てます。ボタンを押すたびに、2000 回引きます。

次元の数

3 次元: 引いた数 0、置けた数 0、捨てた数 0。

あらかじめ計算した結果(100 万回引くか、1 万本置けたら終わり)

次元置けた数捨てた数
22999,998
33999,997
44999,996
55999,995
66999,994
88999,992
1010999,990
1514999,986
2017999,983
3026999,974
5041999,959
100119999,881
200670999,330
3003,093996,907
50010,000 *6,538
1,00010,000 *2
2,56010,000 *0

* は、1 万本置けたので打ち切ったものです。2560 次元では、1 万本置くあいだに、捨てた矢印は 0 本でした。きっちり直角に並べれば、どの次元でも次元の数だけは必ず置けます。でたらめに引く方法では、15〜50 次元のあたりで次元の数に少し届きませんが、100 次元を超えると、次元の数をどんどん上回ります。

TRY 3

性質を重ねて、読み戻す

性質 1 つに、でたらめな向きを 1 つ割り当てます。向きを 1500 個用意して、そこからいくつか選んで足し合わせ、内積で「どれを足したか」を当てます。次元が低いと、ほかの向きと混ざって、当てられません。

次元の数
重ねる数

「試す」を押すと、向きを作って、足して、内積を取ります。

あらかじめ計算した結果(向き 1 万個、1000 回試したうちの、全部当たった回数)

次元3 個重ねる10 個重ねる
300
1000
30430
1009970
3001,000696
1,0001,0001,000
2,5601,0001,000

棒は、内積の大きい順に 40 個。黄色が足した向き、赤が「まちがって上位に来た向き」、点線より左が上位です。重ねる数が多いほど、また、見分けたい向きの数が多いほど、たくさんの次元が要ります。

TRY 4

次元を減らすと、近所が壊れる

Gemma 3 4B の本物の埋め込み(5000 語、2560 次元)を、いちばん大事な向きから順に k 個だけ残して、つぶします。もとの「いちばん近い 10 語」が、つぶしたあとも「近い 10 語」に残っているかを数えました。

2,560 次元: 5000 語の平均で、近所の 100% が残ります。

言葉

「猫」 の、2,560 次元での「近い 10 語」。もとからの近所は 10 語です。

猫犬動物鶏カテゴリ鳥女性ペット牛馬魚

実線の枠 = もとからの近所。点線の枠 = つぶしたせいで、近くに来た言葉。 「大事な向き」は、主成分分析(5000 語の散らばりがいちばん大きい向きから順に選ぶ方法)で決めました。いちばん上手に選んでも、2 次元では近所はほとんど残りません。第 21 回の地図が近所を保てなかったのは、このためです。

TRY 5

本物の Gemma で測ったこと

ここまでの実験は、乱数でした。本物の埋め込み表でも、同じことが起きているかを測りました。

5000 語の、すべての組み合わせ 12,497,500 組の角度: 平均 87.1°。80°〜100° に 99.8%。80° より小さい(近い)組は 0.18% だけです。

本物の埋め込み: 角度の平均87.1°
本物: 80°〜100° の割合99.8%
でたらめな 2560 次元: 平均90.0°
表全体から 5000 行: 80°〜100°99.7%

「大文字にする向き」: 小文字と大文字の単語の組 2,100 組から作り、残りの 2,099 組で試すと、すべての組で正しい側を指しました。この向きの中で、いちばん大きい 1 つの次元が占めるのは 7%。半分を集めるのに 94 個、9 割を集めるのに 861 個の次元が要ります。

ただし、正直に書くと、1,335 番目の次元 1 つだけでも、大文字と小文字を 99.4% 見分けられました。1 つの次元にかなり集まっている性質も、あります。また、「大文字の向き」と「複数形の向き」の角度は 84° で、ほぼ直角でした。

いろいろなモデルの、埋め込みの次元の数

モデル次元
Gemma 3 270M640
GPT-2768
Gemma 3 1B1,152
Gemma 3 4B2,560
Gemma 3 12B3,840
Gemma 3 27B5,376

本物の埋め込みの角度の平均が 90° より少し小さいのは、どの言葉にも共通の成分が少し入っているからです。次元を 2 倍にすると、行列の中の数はおよそ 4 倍になるので、次元の数は、計算の重さとのかねあいで決められています。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q13 次元の部屋の中に、おたがいに「きっちり直角」な向きは、何本まで置ける?

Q22560 次元で、でたらめな矢印を 2 本引くと、角度は?

Q32560 個の次元の 1 つ 1 つが、「大文字」「動物」のような 1 つの意味を受け持っている?

乱数の実験(TRY 1〜3)は、ブラウザの中で計算しています。サーバーには何も送りません。表の数と TRY 4・5 は、あらかじめ計算したものです(本物の埋め込みは Gemma 3 4B (Q4_K_M)、gemma-3-4b-it-Q4_K_M.gguf から読み出し)。

FINISH

この回を見終わったら

COMMENTS

コメント・質問

わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。

読み込み中…