単語ベクトルの足し算:王−男+女=女王(word2vec)
言葉は 2560 個の数。数なら、引き算も足し算もできます。「王 − 男 + 女」を計算すると、本当に「女王」になるのでしょうか。Gemma 3 の埋め込み表の本物の数で、自分の式を書いて確かめましょう。
- POINT 1言葉の点どうしは、引き算と足し算ができます。点と点の差は矢印。「女 − 男」の矢印を「王」に足した点に、いちばん近い言葉を探します。
- POINT 2いちばん近いのは、式に入れた「王」のまま(0.73)。式に入れた言葉を除くと、1 位は「女王」(0.31)。「王」の近所で 7 位だった「女王」が、1 位に上がります。
- POINT 3ぴったりではありません。計算した点と「女王」は離れていて、2 本の矢印の間は 83 度。矢印の向きは、わずかにそろっているだけ。反対語や数字では、うまくいきません。
TRY 1
自分で式を書いて、答えを確かめる
言葉を「−」と「+」でつないで、式を書いてください(例: 王 − 男 + 女)。その場で計算して、計算した点にいちばん近い言葉を、近い順に並べます。
使える言葉(560 語)を見る・押して式に入れる
「王 − 男 + 女」を計算しました。いちばん近いのは、式に入れた「王」(0.73)のままです。式に入れた言葉を除くと、1 位は「女王」(コサイン類似度 0.31、計算した点からの距離 1.42)。
なぜ、この順位になるのか。計算した点との近さは、ほぼ、「王」との近さ + 「女」との近さ − 「男」との近さ、で決まります。上位 3 語の内訳です。
女王
+ 王0.291
+ 女0.232
− 男0.097
合計0.426
王国
+ 王0.373
+ 女0.032
− 男0.046
合計0.359
皇
+ 王0.324
+ 女0.073
− 男0.071
合計0.326
言葉は、動画で使った 5000 語(語彙 262144 トークンのうち、1 トークンで表せるよく使われる言葉)から選んだ 560 語です。行(2560 個の数)どうしのコサイン類似度と、行の長さから、足し引きした点との近さを正確に計算しています。探す範囲が 560 語なので、動画(5000 語から探す)と 2 位以下がちがうことがあります。立体図は、5 つの点が張る 3 次元の空間を、そのまま描いたものです。
TRY 2
当たる式と、外れる式を数える
同じ関係の組(男と女、国と首都 …)を集めて、2 組から式を 1 つ作ります。「姉 − 兄 + 父」の答えが「母」なら当たり。ランプ 1 つが式 1 つです。押すと、その式が TRY 1 に入ります。
13 組: 男 → 女、王 → 女王、父 → 母、兄 → 姉、弟 → 妹、夫 → 妻、息子 → 娘、彼 → 彼女、男性 → 女性、男子 → 女子、少年 → 少女、父親 → 母親、俳優 → 女優
式の当たり(引いて、足す)
135 / 15687%足し算なし(いちばん近い言葉を選ぶだけ)
121 / 15678%ランプを押すと、その式と答えが出ます(緑 = 当たり、赤 = はずれ)。
当たり・はずれは、動画と同じ 5000 語の中から、式に入れた 3 語を除いて、いちばん近い言葉を探した結果です。「足し算なし」は、足す相手の言葉にいちばん近い言葉を選んだだけの結果。この 2 つの差が、引き算と足し算の効き目です。
TRY 3
矢印の間の角度を測る
2 つの組を選ぶと、それぞれの矢印(1 つめの言葉から 2 つめの言葉へ)の間の角度を測ります。0 度なら同じ向き、90 度なら無関係です。緑の点は、その種類のすべての組み合わせ。灰色の帯は、でたらめな矢印どうしが入る範囲です。
「男 → 女」と「王 → 女王」の矢印の間は 83 度(コサイン類似度 0.12)。
「男 → 女」の矢印どうし 78 通りの平均は 83 度。78 通りのうち 54 通りが、でたらめの範囲(86〜94 度)の外です。
でたらめに選んだ言葉の組で作った矢印どうしは、100 組のうち 99 組が 86〜94 度に入ります(動画で測った値)。きれいに平行な矢印は、ありません。わずかな傾きが、たくさんの言葉の中から答えを選ぶときに効いています。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1Gemma 3 の埋め込みで「王 − 男 + 女」を計算した点に、5000 語の中でいちばん近い言葉は?
Q2「男から女」の矢印と「王から女王」の矢印。向きは、どのくらいそろっている?
Q3「四 − 一 + 二」を、言葉の点で計算すると?
NEXT #23
行列とは?LLMの計算を支える線形変換
次回は、行列。ベクトルを、回す・伸ばす・つぶす。LLM の計算を支える線形変換の話です。
言葉の近さは、Gemma 3 4B (Q4_K_M) のファイル(GGUF)の埋め込み表(token_embd.weight)を llama.cpp の gguf-py で取り出して計算したものです。式の計算は、560 語のすべての組のコサイン類似度と行の長さから、ブラウザの中で行っています。当たりの数と角度の範囲は、5000 語で測った動画と同じ値です。サーバーには何も送りません。
FINISH
COMMENTS
コメント・質問
わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。
読み込み中…