LLMが文字数や計算を間違える理由:トークン化の落とし穴
モデルに届くのは、文字ではなく、トークンの番号。区切られ方を見て、モデルが間違えそうな問題を予想し、本物の答えと比べてみましょう。
- POINT 1モデルに届くのは、トークンのIDという番号だけ。トークンの中の文字は、モデルには見えない。
- POINT 2だから、文字数・何文字目・逆から読む、といった問題は苦手。1文字ずつ書き出させると、よくなることがある(必ずではない)。
- POINT 3桁の多い計算も苦手。答えを左の桁から1トークンずつ書くので、繰り上がりを書く前に見通さないといけない。途中の計算を書くと、正しくなることがある。
TRY 1
モデルは正解する?間違える?
Gemma 3 に実際に聞いた問題です。言葉の区切られ方を見て、モデルが正解しそうか、間違えそうかを予想してから、答えを開けてみましょう。
1 / 7 · 何文字?
「ストロベリー」は何文字ですか?
トークンの区切り(番号はID)
- スト90452
- ロ2374181
- ベリー1680613
答えは、毎回いちばん確率の高いトークンを選ぶ設定で、同じ問題を2回聞いて、2回とも同じだったものです。正解(本当)は、言葉そのものから数えています。
TRY 2
トークンの中の文字は、見えない
言葉を選んで、人が見ている文字と、モデルに届く番号を見くらべましょう。
- スト90452
- ロ2374181
- ベリー1680613
6 文字が、3 つのトークンに入っている
1文字ずつ書き出させると?
「1文字ずつ番号をつけて書き出してから数えて」と頼んだ、本物の答えです。書き出された1文字は、1つのトークンになります。
頼んだこと
「ストロベリー」を1文字ずつ番号をつけて書き出してから、何文字か数えてください。
TRY 3
桁の多い掛け算と、1桁ごとの確率
数の区切られ方はトークナイザーによって違います。Gemma 3 は1桁ずつ。そのうえで、掛け算を数字だけで答えさせた本物の答えを、1桁ずつ開けてみましょう。
数の区切られ方
48214821396739671912490719124907123456789123456789202620262984229842数字だけで答えさせた
4821 × 3967は?数字だけで答えてください。
モデル — 桁を押すと、その桁の候補の確率が見られます。
正解
4 桁目: 「1」を 96% で選んだ
- 196%
- 42.1%
- 31.3%
- 21.0%
- 00.1%
途中の計算を書かせると
モデルが書いた途中の計算を見る
347 × 86 を計算します。
**方法1:筆算**
1. 347 × 6 = 2082
2. 347 × 80 = 27760
3. 2082 + 27760 = 29842
したがって、347 × 86 = 29842 です。
**方法2:分配法則**
347 × 86 = 347 × (80 + 6)
= 347 × 80 + 347 × 6
= (347 × 8) × 10 + 347 × 6
= (300 × 8 + 40 × 8 + 7 × 8) × 10 + (300 × 6 + 40 × 6 + 7 × 6)
= (2400 + 320 + 56) × 10 + (1800 + 240 + 42)
= (2776) × 10 + (2082)
= 27760 + 2082
= 29842
どちらの方法でも、答えは 29842 になります。4821 × 3967 を途中も書かせた答え
4821 × 3967 を計算します。
まず、4821 を 3967 倍します。
```
4821
× 3967
-------
33747 (4821 × 7)
289260 (4821 × 60)
14399000 (4821 × 900)
144663000 (4821 × 3000)
-------
18909947
```
したがって、4821 × 3967 = 18909947 です。
**計算のポイント:**
* **桁を揃える:** 筆算の際は、各桁を揃えて計算すると見間違いを防ぎやすくなります。
* **繰り上がり:** 繰り上がりが発生した場合は、その桁の足し算の右隣の桁に繰り上げます。
* **ゼロの打ち消し:** ゼロの桁が多い場合は、ゼロを意識しないように、足し算をするときはゼロを省略して計算すると計算ミスを防ぎやすくなります。
上記の手順で計算することで、正確な答えを得ることができます。Gemma 3 4B (Q4_K_M, llama.cpp) の本物の答えと、答えを書いたときの確率です。正解はふつうの計算で出しています。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1「ストロベリー」がモデルに届くときの形は?
Q2文字数の問題を、正しく答えやすくする方法は?
Q3桁の多い掛け算を、数字だけで答えさせると間違えやすい理由の一つは?
NEXT #17
ベクトルとは?LLMが言葉を表す数の並び
次回から第3部。トークンIDはただの番号でした。次は、言葉の意味を数の並び(ベクトル)で表します。
このページの答え・トークン・確率は、Gemma 3 4B (Q4_K_M, llama.cpp) から一度だけ取り出したものです(いちばん確率の高いトークンを選ぶ設定、同じ問題を2回聞いて同じ答え)。ほかのトークナイザーの区切りは、tiktoken の cl100k_base(GPT-4)と gpt2 です。サーバーには何も送りません。
FINISH
COMMENTS
コメント・質問
わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。
読み込み中…