単語埋め込みの意味空間:似た言葉が近くに集まる理由
埋め込み表の 1 行は、2560 個の数。つまり、2560 次元の空間の 1 つの点です。その点は、でたらめに散らばっているのではありません。「猫」の近くには「犬」がいます。Gemma 3 の本物の埋め込みで作った地図に、単語を入れて確かめましょう。
- POINT 1埋め込み表の行は 2560 次元の空間の点。近さはコサイン類似度で測ります。「猫」と「犬」は 0.35。5000 語のすべての組の平均は 0.05 なので、とても近い組です。
- POINT 2だれかが並べたのではありません。文章の続きを当てる学習で、同じような場所で使われる言葉が、少しずつ同じほうへ引っぱられた結果です。
- POINT 32 次元の地図は影絵のようなもの。本当に近い 10 語のうち、地図でも近所の 10 語に入るのは平均 約 20% だけ。本当の近さは 2560 次元で測ります。
TRY 1
単語を入れて、地図の位置と近所を見る
5000 語が、点になって並んでいます。単語を入れる(または点をクリックする)と、その言葉の場所へ飛び、本当に近い 10 語へ線が伸びます。
「猫」は、5000 語の中のここにいます(色のグループ 10)。下が、コサイン類似度の高い順の 10 語です。
緑 = 地図の上でも近所(10 番目まで)/赤 = 地図の上では離れた。言葉をクリックすると、その言葉へ移ります。
言葉は、語彙 262144 トークンのうち、1 トークンで表せるよく使われる 5000 語。近さは、埋め込み表の行(2560 個の数)のコサイン類似度です。点の位置は、近い言葉がなるべく近くに来るように、t-SNE という方法で 2 次元・3 次元に並べ直したものです。
TRY 2
地図は、どこまで正しい?
TRY 1 で選んだ言葉について、「本当に近い 10 語」と「地図の上で近い 10 語」を並べます。両方に入っている言葉は、いくつあるでしょう。
選んでいる言葉:「猫」
本当に近い 10 語(2560 次元のコサイン類似度)
- 犬
- 動物
- 鶏
- カテゴリ
- 鳥
- 女性
- ペット
- 牛
- 馬
- 魚
地図の上で近い 10 語
- 犬
- 牛
- 王
- 魔
- 神
- 皇
- 星
- 帝
- 天
- 砂
両方に入っているのは、10 語のうち 2 語です。
5000 語の平均では、2 次元の地図で約 20%、3 次元の雲でも約 22% しか残りません(単純に軸を選ぶ方法 PCA だと約 1%)。2560 次元を 2 次元に押しつぶすと、近さは完全には保てません。地図は全体をながめるためのもので、本当の近さは 2560 次元で測ります。
TRY 3
島を探す
仲間の言葉は、地図のどこにいるでしょう。ボタンを押すと、上の地図(TRY 1)でその言葉が光ります。
ボタンを押すと、その仲間の言葉が上の地図で光ります。
点の色は、似た行どうしを 12 のグループに分けたものです。それぞれのグループの、最初の言葉:
色のグループは、2560 次元のままで k-means という方法で分けました。意味だけでなく、カタカナの言葉、つなぎの言葉のように、使われ方の似た言葉が集まっています。仲間の言葉のリストは、こちらで選んだものです。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1Gemma 3 の埋め込みで、「猫」と「犬」のコサイン類似度は 0.35。5000 語のすべての組の平均は?
Q2似た言葉が近くに集まっているのは、なぜ?
Q32 次元の地図で遠くにある 2 つの言葉について、正しいのは?
NEXT #22
単語ベクトルの足し算:王−男+女=女王(word2vec)
次回は、単語ベクトルの足し算。王 − 男 + 女 = 女王。点の場所だけでなく、点から点への向きにも意味がある、という話です。
言葉の近さ・色のグループ・点の位置は、Gemma 3 4B (Q4_K_M) のファイル(GGUF)の埋め込み表(token_embd.weight)を llama.cpp の gguf-py で取り出して計算したものです(5000 語、近い 10 語ずつを保存)。地図の上の順位は、ブラウザで計算しています。サーバーには何も送りません。
FINISH
COMMENTS
コメント・質問
わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。
読み込み中…