LLMは語順をどう知るのか:位置情報の問題
「犬が猫をかんだ」と「猫が犬をかんだ」。使っている言葉は同じで、順番だけが違います。ところが、トークンの埋め込みの行を足し合わせると、この 2 つの文は、まったく同じ 2560 個の数になってしまいます。足し算は、並び順を覚えていないのです。自分で言葉を入れ替えて、確かめてください。
- POINT 1同じトークンは、文のどこにあっても、埋め込み表の同じ行になります。行の中に「何番目か」は書かれていません。
- POINT 2行を足し合わせると、並び順は消えます。同じトークンでできた文は、どんな順番でも、同じ 1 つのベクトルになります。
- POINT 3でも本物の LLM は、語順で答えを変えます。どこかで位置の情報が入っているからです。その仕組みは、第 46 回・第 47 回で扱います。
TRY 1
語順を入れ替えても、合計は変わらない
色のついた言葉を 2 つ続けて押すと、その 2 つが入れ替わります。3D の図では、トークンのブロックが場所を替わり、うしろの棒(合計の最初の 64 個の数)が、新しい順番で足し直されます。白い線は、もとの文の合計です。
言葉を 2 つ押すと、入れ替わります(灰色は動かせない部分)
いまの文:犬が猫をかんだ
もとの文の合計(最初の 128 個の数。オレンジ = プラス、青 = マイナス)
いまの文の合計
合計の 2,560 個の数のうち、もとの文とちがう数: 0 個(いちばん大きい差: 0)
Gemma 3 の答え: 「犬が猫をかんだ。かまれたのは」 の次が 「猫」 になる確率は 95%、「犬」 は 0.003%。いちばん確率が高いのは 「猫」(95%)。
合計は、ブラウザの中で、本物の行(2560 個の数)をいまの順番で足して計算しています。どう並べても、1 個もちがいません。一方、Gemma の答えは、並べ方ごとにあらかじめ測ったもので、順番によって大きく変わります。Gemma には、トークンをこの順番のまま入力しました(言葉としておかしな並びも含みます)。
TRY 2
同じトークンで、2 つの文を作る
下のトークンを押して、文 X と文 Y を作ります。目標は、「並びは違うのに、合計がまったく同じ」になる 2 つの文です。トークンを 1 つ別のものに替えると、どうなるかも見てください。
トークン(押すと、編集中の文の最後に足されます)
文 X
文 Y
できました。並びは違うのに、合計は 2,560 個すべて同じです。足したベクトルからは、この 2 つの文を見分けられません。
X と Y は、同じトークンの袋です。X のトークンの並べ方は 720 通りあり、そのすべてが同じ合計になります。
合計が同じになるのは、2 つの文が「同じトークンを同じ個数ずつ」持っているとき、そのときだけです。順番は、合計にはまったく残りません。
TRY 3
並べ方は、何通りあるか
n 個の違う言葉の並べ方は、n × (n − 1) × … × 2 × 1 通りです。言葉が増えると、この数は爆発的に大きくなります。足し算は、そのすべてを同じ 1 点に重ねてしまいます。
720
6 個の言葉の並べ方は 720 通り(3 桁)。
「犬が猫をかんだ」 は 6 トークン。720 通りの並べ方をすべて計算すると、合計は 1 種類だけでした。
| 言葉の数 | 並べ方 |
|---|---|
| 1 | 1 |
| 2 | 2 |
| 3 | 6 |
| 4 | 24 |
| 5 | 120 |
| 6 | 720 |
| 8 | 40,320 |
| 10 | 3,628,800 |
| 12 | 479,001,600 |
| 15 | 1,307,674,368,000 |
| 20 | 2,432,902,008,176,640,000 |
第 23 回の「つぶすと戻せない」と同じです。たくさんの文が 1 点に重なると、その 1 点から、もとの文がどれだったかは分かりません。
TRY 4
24 通りの語順に、本物の Gemma はどう答えたか
動かせる 4 つの部分を、24 通りすべての順に並べて、Gemma 3 4B に続きを予測させました。足し算の袋なら、24 通りとも同じ答えになるはずです。
どの並びにも、同じ 「…。かまれたのは」 を続けて、次のトークンが 「猫」 になる確率と、「犬」 になる確率を測りました。
「猫」 の確率は、並べ方によって 0.1% から 96% まで変わりました。
| 並び | 猫 | 犬 | いちばん上 |
|---|---|---|---|
| 犬が猫をかんだ | 95% | 0.003% | 猫 |
| 犬がを猫かんだ | 96% | 2.0% | 猫 |
| 犬猫がをかんだ | 1.0% | 0.4% | 、 |
| 犬猫をがかんだ | 74% | 7.2% | 猫 |
| 犬をが猫かんだ | 85% | 12% | 猫 |
| 犬を猫がかんだ | 4.2% | 4.3% | 、 |
| が犬猫をかんだ | 0.9% | 5.3% | 、 |
| が犬を猫かんだ | 12% | 75% | 犬 |
| が猫犬をかんだ | 73% | 11% | 猫 |
| が猫を犬かんだ | 62% | 0.5% | 猫 |
| がを犬猫かんだ | 0.5% | 13% | 、 |
| がを猫犬かんだ | 34% | 26% | 猫 |
| 猫犬がをかんだ | 0.2% | 1.5% | 、 |
| 猫犬をがかんだ | 1.3% | 15% | 、 |
| 猫が犬をかんだ | 1.0% | 17% | 小型 |
| 猫がを犬かんだ | 5.0% | 78% | 犬 |
| 猫を犬がかんだ | 37% | 0.2% | 、 |
| 猫をが犬かんだ | 4.6% | 54% | 犬 |
| を犬が猫かんだ | 96% | 0.086% | 猫 |
| を犬猫がかんだ | 0.1% | 0.040% | 、 |
| をが犬猫かんだ | 0.2% | 1.4% | 手 |
| をが猫犬かんだ | 40% | 8.6% | 猫 |
| を猫犬がかんだ | 1.3% | 0.3% | 、 |
| を猫が犬かんだ | 24% | 51% | 犬 |
水色の行がもとの文、オレンジの行が逆の意味の文です。Gemma は、同じトークンでも、順番が違えば違う答えを出します。つまり、どこかで「何番目か」の情報を受け取っています。入口の埋め込み表には、位置の情報はありません。位置がどこで、どう入るのかは、第 46 回・第 47 回で扱います。
TRY 5
袋の中身は読める・ほかの文・トークンの分かれ方
足したベクトルが覚えていること、覚えていないことを、測った数で確かめます。
「犬が猫をかんだ」 の合計に、いちばん近い行を、埋め込み表の 262,144 行から探しました(コサイン類似度)。上位 10 個のうち 5 個が、文に入っているトークンです(緑)。
もとの文の合計と、ほかの文の合計のちがい
| 文 | 距離 | ちがう数(2560 個中) |
|---|---|---|
| 猫が犬をかんだ | 0 | 0 |
| 犬が鳥をかんだ | 1.26 | 2,557 |
| 猫が魚を食べた | 2.42 | 2,560 |
例文を選ぶときの注意: 「犬が人をかんだ」は、Gemma のトークナイザーでは「犬・が・人を・か・んだ」と分かれ、「人が犬をかんだ」は「人が・犬・を・か・んだ」になります。「人を」「人が」が 1 つのトークンなので、同じトークンの並べ替えになりません。そこで、この回では「犬」と「猫」の文を使いました。
おまけ: 英語で「The one who got bitten was the」と聞くと、Gemma は「The dog bit the man」でも「The man bit the dog」でも「man」と答えました(96% と 93%)。人が犬をかむ話は珍しいので、常識に引っぱられたようです。「got hurt」と聞くと、後者では「dog」が 83% になります。動画の英語版では、こちらの聞き方を使いました。
コサイン類似度は第 18 回、足したベクトルから中身を読み出す話は第 24 回で扱いました。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1同じトークン「犬」が、文の 1 番目にあるときと 3 番目にあるときで、埋め込み表から取り出される行は?
Q2「犬が猫をかんだ」と「猫が犬をかんだ」のトークンの行を、それぞれ全部足すと?
Q3本物の Gemma は、語順だけが違う 2 つの文を、区別できている?
NEXT #26
ニューロンとは?ニューラルネットワークの重みとバイアス
次回から、新しい章です。ニューロンとは何か。ニューラルネットワークの、重みとバイアスを見ていきます。
合計の計算(TRY 1・2)は、ブラウザの中で行っています。サーバーには何も送りません。行は Gemma 3 4B (Q4_K_M)(gemma-3-4b-it-Q4_K_M.gguf)の埋め込み表から読み出した本物の値、Gemma の答えは、あらかじめ測ったものです。
FINISH
COMMENTS
コメント・質問
わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。
読み込み中…