相談する

知識ゼロから完全に理解するLLM#21

単語埋め込みの意味空間:似た言葉が近くに集まる理由

埋め込み表の 1 行は、2560 個の数。つまり、2560 次元の空間の 1 つの点です。その点は、でたらめに散らばっているのではありません。「猫」の近くには「犬」がいます。Gemma 3 の本物の埋め込みで作った地図に、単語を入れて確かめましょう。

  • POINT 1埋め込み表の行は 2560 次元の空間の点。近さはコサイン類似度で測ります。「猫」と「犬」は 0.35。5000 語のすべての組の平均は 0.05 なので、とても近い組です。
  • POINT 2だれかが並べたのではありません。文章の続きを当てる学習で、同じような場所で使われる言葉が、少しずつ同じほうへ引っぱられた結果です。
  • POINT 32 次元の地図は影絵のようなもの。本当に近い 10 語のうち、地図でも近所の 10 語に入るのは平均 約 20% だけ。本当の近さは 2560 次元で測ります。

TRY 1

単語を入れて、地図の位置と近所を見る

5000 語が、点になって並んでいます。単語を入れる(または点をクリックする)と、その言葉の場所へ飛び、本当に近い 10 語へ線が伸びます。

ためしてみる言葉

「猫」は、5000 語の中のここにいます(色のグループ 10)。下が、コサイン類似度の高い順の 10 語です。

10.35地図でも 1 番目
20.25地図では 1588 番目
30.20地図では 677 番目
40.20地図では 4094 番目
50.20地図では 87 番目
60.19地図では 1046 番目
70.19地図では 3171 番目
80.19地図でも 2 番目
90.18地図では 56 番目
100.18地図では 89 番目

緑 = 地図の上でも近所(10 番目まで)/赤 = 地図の上では離れた。言葉をクリックすると、その言葉へ移ります。

言葉は、語彙 262144 トークンのうち、1 トークンで表せるよく使われる 5000 語。近さは、埋め込み表の行(2560 個の数)のコサイン類似度です。点の位置は、近い言葉がなるべく近くに来るように、t-SNE という方法で 2 次元・3 次元に並べ直したものです。

TRY 2

地図は、どこまで正しい?

TRY 1 で選んだ言葉について、「本当に近い 10 語」と「地図の上で近い 10 語」を並べます。両方に入っている言葉は、いくつあるでしょう。

選んでいる言葉:「猫」

本当に近い 10 語(2560 次元のコサイン類似度)

  1. 犬
  2. 動物
  3. 鶏
  4. カテゴリ
  5. 鳥
  6. 女性
  7. ペット
  8. 牛
  9. 馬
  10. 魚

地図の上で近い 10 語

  1. 犬
  2. 牛
  3. 王
  4. 魔
  5. 神
  6. 皇
  7. 星
  8. 帝
  9. 天
  10. 砂

両方に入っているのは、10 語のうち 2 語です。

5000 語の平均では、2 次元の地図で約 20%、3 次元の雲でも約 22% しか残りません(単純に軸を選ぶ方法 PCA だと約 1%)。2560 次元を 2 次元に押しつぶすと、近さは完全には保てません。地図は全体をながめるためのもので、本当の近さは 2560 次元で測ります。

TRY 3

島を探す

仲間の言葉は、地図のどこにいるでしょう。ボタンを押すと、上の地図(TRY 1)でその言葉が光ります。

仲間の言葉を光らせる

ボタンを押すと、その仲間の言葉が上の地図で光ります。

点の色は、似た行どうしを 12 のグループに分けたものです。それぞれのグループの、最初の言葉:

色のグループは、2560 次元のままで k-means という方法で分けました。意味だけでなく、カタカナの言葉、つなぎの言葉のように、使われ方の似た言葉が集まっています。仲間の言葉のリストは、こちらで選んだものです。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1Gemma 3 の埋め込みで、「猫」と「犬」のコサイン類似度は 0.35。5000 語のすべての組の平均は?

Q2似た言葉が近くに集まっているのは、なぜ?

Q32 次元の地図で遠くにある 2 つの言葉について、正しいのは?

言葉の近さ・色のグループ・点の位置は、Gemma 3 4B (Q4_K_M) のファイル(GGUF)の埋め込み表(token_embd.weight)を llama.cpp の gguf-py で取り出して計算したものです(5000 語、近い 10 語ずつを保存)。地図の上の順位は、ブラウザで計算しています。サーバーには何も送りません。

FINISH

この回を見終わったら

COMMENTS

コメント・質問

わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。

読み込み中…