相談する

知識ゼロから完全に理解するLLM#18

内積とコサイン類似度:LLMが意味の近さを測る方法

2つの言葉のベクトルが、どれくらい同じ向きを向いているか。それを1つの数で表すのが、内積とコサイン類似度です。矢印を動かして計算の中身を確かめ、本物のモデルの言葉どうしの近さも見てみましょう。

  • POINT 1内積は、同じ位置の数どうしを掛けて、全部足したもの。(3, 1) · (1, 2) = 3 × 1 + 1 × 2 = 5。同じ向きに近いとプラス、直角で 0、反対向きでマイナス。
  • POINT 2内積には矢印の長さも入っている。内積を2本の長さで割ったものがコサイン類似度で、長さに関係なく向きだけを −1 から 1 で表す(同じ向きで 1、直角で 0、正反対で −1)。
  • POINT 3Gemma 3 で測ると「猫」と「犬」は約 0.35。でたらめなトークンの組の 98% は −0.1〜0.1 なので、これははっきり近い数。ただし反対の言葉どうしも近くなる。

TRY 1

2本の矢印を動かして、類似度の変化を見る

水色の a と黄色の b の矢印の先(丸)をドラッグしてみましょう。内積・長さ・コサイン類似度・角度が、すぐに計算し直されます。ボタンで、同じ向き・直角・反対向きにもできます。

b を
ab
|a|3.16
|b|2.24
内積 a · b5
コサイン類似度0.71角度 45°
内積 = 同じ位置の数どうしを掛けて足す(3, 1) · (1, 2) = 3 × 1 + 1 × 2 = 5コサイン類似度 = 内積 ÷ (|a| × |b|)5 ÷ (3.16 × 2.24) = 5 ÷ 7.07 ≈ 0.71

内積がプラス: 2本は同じ側を向いています(角度が 90° より小さい)。

「a を2倍に」を押すと、内積は2倍になりますが、コサイン類似度は変わりません。コサイン類似度は向きだけを見る数です。

TRY 2

Gemma の本物の言葉どうしの近さ

Gemma 3 4B では、トークン1つ1つが 2560 個の数の矢印です。2つの言葉を選ぶと、その2本のコサイン類似度がわかります。下には、1つ目の言葉と、ほかの全部の言葉との類似度を、近い順に並べました。

選ぶのは
コサイン類似度0.35
内積(2560 個の積の合計)0.347
長さ0.99 · 1.00

「猫」と「犬」の 2560 次元の矢印のコサイン類似度は 0.35。

「猫」とのコサイン類似度(近い順)。ピンクの帯は −0.1〜0.1。

犬0.35
鳥0.19
牛0.19
馬0.18
魚0.18
王0.17
虎0.15
海0.15
数学0.15
男0.14
女王0.14
学生0.14
左0.14
音楽0.13
車0.13
水0.13
青0.13
山0.13
女0.13
右0.12
京都0.12
椅子0.12
机0.12
自転車0.11
ギター0.11
上0.10
冬0.10
夏0.10
東京0.10
電車0.08
ピアノ0.08
大阪0.08
先生0.08
本0.08
赤0.08
下0.08
好き0.06
小さい0.05
大きい0.04

でたらめに選んだトークン 199,999 組では、98% がコサイン類似度 −0.1〜0.1(ほぼ直角)でした。2560 次元では、関係のない矢印はほとんど直角になります。

TRY 3

26万個のトークンで、いちばん近いもの

言葉を1つ選ぶと、語彙の全トークンの中から、コサイン類似度が高い 10 個を表示します。同じ言葉の別の書き方や、別の言語の同じ意味の言葉が多く並びます。

「猫」に近いトークン(262,144 個の中から)

1. 貓0.79
2. ␣猫0.71
3. ␣cat0.58
4. ␣cats0.57
5. Cat0.54
6. ␣Cat0.54
7. Cats0.53
8. ␣Cats0.53
9. cat0.52
10. ␣feline0.49

␣ は、前にスペースが付いた形のトークンです(英語などで、文の途中の単語はこの形になります)。

反対の意味の言葉が近いこともあります(例:「右」と「左」)。コサイン類似度が高いことは、同じ意味であることとは限りません。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1(2, 1) と (−1, 2) の内積は?

Q2矢印 a を2倍の長さにすると、a と b のコサイン類似度は?

Q3Gemma で「右」と「左」のコサイン類似度が高いのは?

TRY 2・3 の数は、Gemma 3 4B (Q4_K_M) のファイル(GGUF)の埋め込み表(token_embd.weight)を llama.cpp の gguf-py で取り出して計算したものです。TRY 1 の矢印は、自分で決める数です。サーバーには何も送りません。

FINISH

この回を見終わったら

COMMENTS

コメント・質問

わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。

読み込み中…