相談する

知識ゼロから完全に理解するLLM#22

単語ベクトルの足し算:王−男+女=女王(word2vec)

言葉は 2560 個の数。数なら、引き算も足し算もできます。「王 − 男 + 女」を計算すると、本当に「女王」になるのでしょうか。Gemma 3 の埋め込み表の本物の数で、自分の式を書いて確かめましょう。

  • POINT 1言葉の点どうしは、引き算と足し算ができます。点と点の差は矢印。「女 − 男」の矢印を「王」に足した点に、いちばん近い言葉を探します。
  • POINT 2いちばん近いのは、式に入れた「王」のまま(0.73)。式に入れた言葉を除くと、1 位は「女王」(0.31)。「王」の近所で 7 位だった「女王」が、1 位に上がります。
  • POINT 3ぴったりではありません。計算した点と「女王」は離れていて、2 本の矢印の間は 83 度。矢印の向きは、わずかにそろっているだけ。反対語や数字では、うまくいきません。

TRY 1

自分で式を書いて、答えを確かめる

言葉を「−」と「+」でつないで、式を書いてください(例: 王 − 男 + 女)。その場で計算して、計算した点にいちばん近い言葉を、近い順に並べます。

使える言葉(560 語)を見る・押して式に入れる

「王 − 男 + 女」を計算しました。いちばん近いのは、式に入れた「王」(0.73)のままです。式に入れた言葉を除くと、1 位は「女王」(コサイン類似度 0.31、計算した点からの距離 1.42)。

1女王0.31
2王国0.26
3皇0.24
4国王0.22
5王者0.22
6老0.20
7李0.20
8王子0.19

なぜ、この順位になるのか。計算した点との近さは、ほぼ、「王」との近さ + 「女」との近さ − 「男」との近さ、で決まります。上位 3 語の内訳です。

女王

+ 王0.291

+ 女0.232

− 男0.097

合計0.426

王国

+ 王0.373

+ 女0.032

− 男0.046

合計0.359

皇

+ 王0.324

+ 女0.073

− 男0.071

合計0.326

言葉は、動画で使った 5000 語(語彙 262144 トークンのうち、1 トークンで表せるよく使われる言葉)から選んだ 560 語です。行(2560 個の数)どうしのコサイン類似度と、行の長さから、足し引きした点との近さを正確に計算しています。探す範囲が 560 語なので、動画(5000 語から探す)と 2 位以下がちがうことがあります。立体図は、5 つの点が張る 3 次元の空間を、そのまま描いたものです。

TRY 2

当たる式と、外れる式を数える

同じ関係の組(男と女、国と首都 …)を集めて、2 組から式を 1 つ作ります。「姉 − 兄 + 父」の答えが「母」なら当たり。ランプ 1 つが式 1 つです。押すと、その式が TRY 1 に入ります。

組の種類

13 組: 男 → 女、王 → 女王、父 → 母、兄 → 姉、弟 → 妹、夫 → 妻、息子 → 娘、彼 → 彼女、男性 → 女性、男子 → 女子、少年 → 少女、父親 → 母親、俳優 → 女優

式の当たり(引いて、足す)

135 / 15687%

足し算なし(いちばん近い言葉を選ぶだけ)

121 / 15678%

ランプを押すと、その式と答えが出ます(緑 = 当たり、赤 = はずれ)。

当たり・はずれは、動画と同じ 5000 語の中から、式に入れた 3 語を除いて、いちばん近い言葉を探した結果です。「足し算なし」は、足す相手の言葉にいちばん近い言葉を選んだだけの結果。この 2 つの差が、引き算と足し算の効き目です。

TRY 3

矢印の間の角度を測る

2 つの組を選ぶと、それぞれの矢印(1 つめの言葉から 2 つめの言葉へ)の間の角度を測ります。0 度なら同じ向き、90 度なら無関係です。緑の点は、その種類のすべての組み合わせ。灰色の帯は、でたらめな矢印どうしが入る範囲です。

組の種類
1 本めの矢印
2 本めの矢印
0°30°60°90°120°150°180°83°

「男 → 女」と「王 → 女王」の矢印の間は 83 度(コサイン類似度 0.12)。

「男 → 女」の矢印どうし 78 通りの平均は 83 度。78 通りのうち 54 通りが、でたらめの範囲(86〜94 度)の外です。

でたらめに選んだ言葉の組で作った矢印どうしは、100 組のうち 99 組が 86〜94 度に入ります(動画で測った値)。きれいに平行な矢印は、ありません。わずかな傾きが、たくさんの言葉の中から答えを選ぶときに効いています。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1Gemma 3 の埋め込みで「王 − 男 + 女」を計算した点に、5000 語の中でいちばん近い言葉は?

Q2「男から女」の矢印と「王から女王」の矢印。向きは、どのくらいそろっている?

Q3「四 − 一 + 二」を、言葉の点で計算すると?

言葉の近さは、Gemma 3 4B (Q4_K_M) のファイル(GGUF)の埋め込み表(token_embd.weight)を llama.cpp の gguf-py で取り出して計算したものです。式の計算は、560 語のすべての組のコサイン類似度と行の長さから、ブラウザの中で行っています。当たりの数と角度の範囲は、5000 語で測った動画と同じ値です。サーバーには何も送りません。

FINISH

この回を見終わったら

COMMENTS

コメント・質問

わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。

読み込み中…