相談する

知識ゼロから完全に理解するLLM#16

LLMが文字数や計算を間違える理由:トークン化の落とし穴

モデルに届くのは、文字ではなく、トークンの番号。区切られ方を見て、モデルが間違えそうな問題を予想し、本物の答えと比べてみましょう。

  • POINT 1モデルに届くのは、トークンのIDという番号だけ。トークンの中の文字は、モデルには見えない。
  • POINT 2だから、文字数・何文字目・逆から読む、といった問題は苦手。1文字ずつ書き出させると、よくなることがある(必ずではない)。
  • POINT 3桁の多い計算も苦手。答えを左の桁から1トークンずつ書くので、繰り上がりを書く前に見通さないといけない。途中の計算を書くと、正しくなることがある。

TRY 1

モデルは正解する?間違える?

Gemma 3 に実際に聞いた問題です。言葉の区切られ方を見て、モデルが正解しそうか、間違えそうかを予想してから、答えを開けてみましょう。

問題の言語

1 / 7 · 何文字?

「ストロベリー」は何文字ですか?

トークンの区切り(番号はID)

  • スト90452
  • ロ2374181
  • ベリー1680613
あなたの予想
予想が当たった数: 0 / 0

答えは、毎回いちばん確率の高いトークンを選ぶ設定で、同じ問題を2回聞いて、2回とも同じだったものです。正解(本当)は、言葉そのものから数えています。

TRY 2

トークンの中の文字は、見えない

言葉を選んで、人が見ている文字と、モデルに届く番号を見くらべましょう。

言葉
  • スト90452
  • ロ2374181
  • ベリー1680613

6 文字が、3 つのトークンに入っている

1文字ずつ書き出させると?

「1文字ずつ番号をつけて書き出してから数えて」と頼んだ、本物の答えです。書き出された1文字は、1つのトークンになります。

問題の言語

頼んだこと

「ストロベリー」を1文字ずつ番号をつけて書き出してから、何文字か数えてください。

ストロベリーリ
書き出した文字: 7 個はい、承知いたしました。「ストロベリー」を1文字ずつ番号をつけて書き出します。 1. ス 2. ト 3. ロ 4. ベ 5. リ 6. ー 7. リ この文字列の文字数は7文字です。

TRY 3

桁の多い掛け算と、1桁ごとの確率

数の区切られ方はトークナイザーによって違います。Gemma 3 は1桁ずつ。そのうえで、掛け算を数字だけで答えさせた本物の答えを、1桁ずつ開けてみましょう。

トークナイザー

数の区切られ方

48214821
39673967
1912490719124907
123456789123456789
20262026
2984229842
問題の言語

数字だけで答えさせた

4821 × 3967は?数字だけで答えてください。

モデル — 桁を押すと、その桁の候補の確率が見られます。

正解

19124907

4 桁目: 「1」を 96% で選んだ

  • 196%
  • 42.1%
  • 31.3%
  • 21.0%
  • 00.1%

途中の計算を書かせると

数字だけ: 347 × 86は?数字だけで答えてください。30000 + 2000 + 700 + 200 + 56 = 32956
途中も書く: 347 × 86は?途中の計算も書いてください。どちらの方法でも、答えは 29842 になります。
モデルが書いた途中の計算を見る
347 × 86 を計算します。

**方法1:筆算**

1.  347 × 6 = 2082
2.  347 × 80 = 27760
3.  2082 + 27760 = 29842

したがって、347 × 86 = 29842 です。

**方法2:分配法則**

347 × 86 = 347 × (80 + 6)
          = 347 × 80 + 347 × 6
          = (347 × 8) × 10 + 347 × 6
          = (300 × 8 + 40 × 8 + 7 × 8) × 10 + (300 × 6 + 40 × 6 + 7 × 6)
          = (2400 + 320 + 56) × 10 + (1800 + 240 + 42)
          = (2776) × 10 + (2082)
          = 27760 + 2082
          = 29842

どちらの方法でも、答えは 29842 になります。
4821 × 3967 を途中も書かせた答え
4821 × 3967 を計算します。

まず、4821 を 3967 倍します。
```
    4821
× 3967
-------
   33747  (4821 × 7)
 289260  (4821 × 60)
14399000 (4821 × 900)
144663000 (4821 × 3000)
-------
18909947
```

したがって、4821 × 3967 = 18909947 です。

**計算のポイント:**

*   **桁を揃える:** 筆算の際は、各桁を揃えて計算すると見間違いを防ぎやすくなります。
*   **繰り上がり:** 繰り上がりが発生した場合は、その桁の足し算の右隣の桁に繰り上げます。
*   **ゼロの打ち消し:** ゼロの桁が多い場合は、ゼロを意識しないように、足し算をするときはゼロを省略して計算すると計算ミスを防ぎやすくなります。

上記の手順で計算することで、正確な答えを得ることができます。

Gemma 3 4B (Q4_K_M, llama.cpp) の本物の答えと、答えを書いたときの確率です。正解はふつうの計算で出しています。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1「ストロベリー」がモデルに届くときの形は?

Q2文字数の問題を、正しく答えやすくする方法は?

Q3桁の多い掛け算を、数字だけで答えさせると間違えやすい理由の一つは?

このページの答え・トークン・確率は、Gemma 3 4B (Q4_K_M, llama.cpp) から一度だけ取り出したものです(いちばん確率の高いトークンを選ぶ設定、同じ問題を2回聞いて同じ答え)。ほかのトークナイザーの区切りは、tiktoken の cl100k_base(GPT-4)と gpt2 です。サーバーには何も送りません。

FINISH

この回を見終わったら

COMMENTS

コメント・質問

わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。

読み込み中…