ベクトルとは?LLMが言葉を表す数の並び
トークンIDはただの番号でした。言葉の意味を表すには、たくさんの数を並べた「ベクトル」を使います。矢印を動かして、ベクトルの足し算・引き算・長さを自分の手で確かめましょう。
- POINT 1ベクトルは、数を決まった順番に並べたもの。並んだ数の個数を次元という。(3, 2) と (2, 3) は別のベクトル。
- POINT 2数が2つなら矢印で描ける。矢印は向きと長さを持つ。長さは、それぞれの数を2乗して足し、平方根をとる(三平方の定理)。
- POINT 3足し算・引き算は、同じ位置の数どうしを計算するだけ。足し算は矢印をつなげる、引き算は一方の先からもう一方の先への矢印。
TRY 1
矢印をドラッグして、足し算・引き算
水色の a と、黄色の b の矢印の先(丸)をドラッグしてみましょう。答えの矢印と、計算の中身が、すぐに変わります。数を直接入力することもできます。
1 + 2 = 3答えの長さ(2乗して足し、平方根)√(4² + 3²) = √25 ≈ 5
足し算: a の先に b の根もとをつなげると、出発点から最後に着いた場所までが答え。b から先に進んでも同じ所に着きます(うすい平行四辺形)。
TRY 2
数が3つなら、3次元
3つの数は、横・縦・奥行きの3方向です。つまみで数を変えると、矢印は箱の対角線になります。長さの計算は2次元と同じです。
(2, 3, 6) の長さは 7。数が4つ以上になると絵には描けませんが、同じ計算で長さが出せます。
(2, 3, 6) は長さがちょうど 7 になる例です(4 + 9 + 36 = 49)。
TRY 3
本物のモデルのベクトル
Gemma 3 4B では、トークン1つ1つに 2560 個の数の並びが用意されています。このシリーズで使っているモデルのファイルから、実際に取り出した数です。
2560 個の数(水色はプラス、ピンクはマイナス)
「猫」は 2560 次元のベクトル。長さは約 0.99 です。
こうした並びが 262,144 個のトークンの数だけあり、全部で 671,088,640 個の数(262,144 × 2560)。どれも学習で決まったパラメータです。ID から行を取り出す仕組みは第20回で。
ちなみに ID は整理番号です。「猫」は 239959 番、1つ大きい 239960 番は「淡」、1つ小さい 239958 番は「ɔ」。番号の近さは、意味の近さではありません。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1(3, 2) と (2, 3) は?
Q2(3, 4) の長さは?
Q3(4, 3) − (1, 2) は?
NEXT #18
内積とコサイン類似度:LLMが意味の近さを測る方法
次回は、2本の矢印がどれくらい同じ向きかを1つの数で測る、内積とコサイン類似度です。
TRY 3 の数とIDは、Gemma 3 4B (Q4_K_M) のファイル(GGUF)の埋め込み表(token_embd.weight)から llama.cpp の gguf-py で取り出したものです(表示は小数第4位まで)。TRY 1・2 の矢印は、自分で決める数です。サーバーには何も送りません。
FINISH
COMMENTS
コメント・質問
わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。
読み込み中…