相談する

知識ゼロから完全に理解するLLM#17

ベクトルとは?LLMが言葉を表す数の並び

トークンIDはただの番号でした。言葉の意味を表すには、たくさんの数を並べた「ベクトル」を使います。矢印を動かして、ベクトルの足し算・引き算・長さを自分の手で確かめましょう。

  • POINT 1ベクトルは、数を決まった順番に並べたもの。並んだ数の個数を次元という。(3, 2) と (2, 3) は別のベクトル。
  • POINT 2数が2つなら矢印で描ける。矢印は向きと長さを持つ。長さは、それぞれの数を2乗して足し、平方根をとる(三平方の定理)。
  • POINT 3足し算・引き算は、同じ位置の数どうしを計算するだけ。足し算は矢印をつなげる、引き算は一方の先からもう一方の先への矢印。

TRY 1

矢印をドラッグして、足し算・引き算

水色の a と、黄色の b の矢印の先(丸)をドラッグしてみましょう。答えの矢印と、計算の中身が、すぐに変わります。数を直接入力することもできます。

計算
ab
a(3, 1)長さ 3.16
b(1, 2)長さ 2.24
a + b(4, 3)長さ 5
同じ位置の数どうしを計算3 + 1 = 4
1 + 2 = 3答えの長さ(2乗して足し、平方根)√(4² + 3²) = √25 ≈ 5

足し算: a の先に b の根もとをつなげると、出発点から最後に着いた場所までが答え。b から先に進んでも同じ所に着きます(うすい平行四辺形)。

TRY 2

数が3つなら、3次元

3つの数は、横・縦・奥行きの3方向です。つまみで数を変えると、矢印は箱の対角線になります。長さの計算は2次元と同じです。

横2
縦3
奥行き6
長さ = それぞれを2乗して足し、平方根√(2² + 3² + 6²) = √(4 + 9 + 36) = √49 ≈ 7

(2, 3, 6) の長さは 7。数が4つ以上になると絵には描けませんが、同じ計算で長さが出せます。

(2, 3, 6) は長さがちょうど 7 になる例です(4 + 9 + 36 = 49)。

TRY 3

本物のモデルのベクトル

Gemma 3 4B では、トークン1つ1つに 2560 個の数の並びが用意されています。このシリーズで使っているモデルのファイルから、実際に取り出した数です。

トークン

2560 個の数(水色はプラス、ピンクはマイナス)

12/ 2560
−0.01320.00990.01320.0066−0.00660.00490.00490.0214−0.03620.01320.00330.0510…
長さ = 2560 個の数を2乗して足し、平方根(このページで計算)√( (−0.0132)² + 0.0099² + … ) = √0.97782 ≈ 0.989

「猫」は 2560 次元のベクトル。長さは約 0.99 です。

こうした並びが 262,144 個のトークンの数だけあり、全部で 671,088,640 個の数(262,144 × 2560)。どれも学習で決まったパラメータです。ID から行を取り出す仕組みは第20回で。

ちなみに ID は整理番号です。「猫」は 239959 番、1つ大きい 239960 番は「淡」、1つ小さい 239958 番は「ɔ」。番号の近さは、意味の近さではありません。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1(3, 2) と (2, 3) は?

Q2(3, 4) の長さは?

Q3(4, 3) − (1, 2) は?

TRY 3 の数とIDは、Gemma 3 4B (Q4_K_M) のファイル(GGUF)の埋め込み表(token_embd.weight)から llama.cpp の gguf-py で取り出したものです(表示は小数第4位まで)。TRY 1・2 の矢印は、自分で決める数です。サーバーには何も送りません。

FINISH

この回を見終わったら

COMMENTS

コメント・質問

わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。

読み込み中…