内積とコサイン類似度:LLMが意味の近さを測る方法
2つの言葉のベクトルが、どれくらい同じ向きを向いているか。それを1つの数で表すのが、内積とコサイン類似度です。矢印を動かして計算の中身を確かめ、本物のモデルの言葉どうしの近さも見てみましょう。
- POINT 1内積は、同じ位置の数どうしを掛けて、全部足したもの。(3, 1) · (1, 2) = 3 × 1 + 1 × 2 = 5。同じ向きに近いとプラス、直角で 0、反対向きでマイナス。
- POINT 2内積には矢印の長さも入っている。内積を2本の長さで割ったものがコサイン類似度で、長さに関係なく向きだけを −1 から 1 で表す(同じ向きで 1、直角で 0、正反対で −1)。
- POINT 3Gemma 3 で測ると「猫」と「犬」は約 0.35。でたらめなトークンの組の 98% は −0.1〜0.1 なので、これははっきり近い数。ただし反対の言葉どうしも近くなる。
TRY 1
2本の矢印を動かして、類似度の変化を見る
水色の a と黄色の b の矢印の先(丸)をドラッグしてみましょう。内積・長さ・コサイン類似度・角度が、すぐに計算し直されます。ボタンで、同じ向き・直角・反対向きにもできます。
内積がプラス: 2本は同じ側を向いています(角度が 90° より小さい)。
「a を2倍に」を押すと、内積は2倍になりますが、コサイン類似度は変わりません。コサイン類似度は向きだけを見る数です。
TRY 2
Gemma の本物の言葉どうしの近さ
Gemma 3 4B では、トークン1つ1つが 2560 個の数の矢印です。2つの言葉を選ぶと、その2本のコサイン類似度がわかります。下には、1つ目の言葉と、ほかの全部の言葉との類似度を、近い順に並べました。
「猫」と「犬」の 2560 次元の矢印のコサイン類似度は 0.35。
「猫」とのコサイン類似度(近い順)。ピンクの帯は −0.1〜0.1。
でたらめに選んだトークン 199,999 組では、98% がコサイン類似度 −0.1〜0.1(ほぼ直角)でした。2560 次元では、関係のない矢印はほとんど直角になります。
TRY 3
26万個のトークンで、いちばん近いもの
言葉を1つ選ぶと、語彙の全トークンの中から、コサイン類似度が高い 10 個を表示します。同じ言葉の別の書き方や、別の言語の同じ意味の言葉が多く並びます。
「猫」に近いトークン(262,144 個の中から)
␣ は、前にスペースが付いた形のトークンです(英語などで、文の途中の単語はこの形になります)。
反対の意味の言葉が近いこともあります(例:「右」と「左」)。コサイン類似度が高いことは、同じ意味であることとは限りません。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1(2, 1) と (−1, 2) の内積は?
Q2矢印 a を2倍の長さにすると、a と b のコサイン類似度は?
Q3Gemma で「右」と「左」のコサイン類似度が高いのは?
NEXT #19
one-hotベクトルとその限界:埋め込みが必要な理由
次回は、言葉ごとに1か所だけが1の one-hot ベクトル。どの2つの言葉も、コサイン類似度が0になってしまう理由を見ます。
TRY 2・3 の数は、Gemma 3 4B (Q4_K_M) のファイル(GGUF)の埋め込み表(token_embd.weight)を llama.cpp の gguf-py で取り出して計算したものです。TRY 1 の矢印は、自分で決める数です。サーバーには何も送りません。
FINISH
COMMENTS
コメント・質問
わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。
読み込み中…