特殊トークンとチャットテンプレート:LLMが会話を読む形式
チャット画面の吹き出しは、アプリの見せ方です。モデルに届くのは、特別な印でつないだ1本のトークンの列。あなたの会話を、その列に変えてみましょう。
- POINT 1特殊トークンは、ふつうの文字を表さない印。語彙に番号の席があり、テンプレートが番号で入れる。
- POINT 2チャットテンプレートは、会話を1本の列にする決まり。Gemma では、発言ごとに <start_of_turn> 名前 ↵ 中身 <end_of_turn> ↵。
- POINT 3モデルは <end_of_turn> を予測して番を終える。印がなければ、会話だとわからず、文書の続きを書き続ける。
TRY 1
会話をテンプレートに流し込む
発言を書きかえたり、足したりしてみましょう。Gemma 3 の決まりで、モデルに届く本当の列ができあがります。
テンプレートに流し込んだ文字列(↵ は改行)
トークンの列(下の数字はトークンID)
- <bos>2
- <start_of_turn>105
- user2364
- ↵107
- こんにちは85141
- <end_of_turn>106
- ↵107
- <start_of_turn>105
- model4368
- ↵107
10トークン
4特殊トークン
5名前・改行
1発言の中身
この列は、サーバーの Gemma 3 で、テンプレートを当ててトークンに切った結果と1つ残らず一致します。 列は <start_of_turn>model ↵ で開いたまま。ここから、モデルが返事を書きます。
印のID: <bos>=2、<start_of_turn>=105、<end_of_turn>=106、user=2364、model=4368、↵=107、↵↵=108。Gemma には system の印がないので、システムメッセージは最初の user の発言の先頭に、空行をはさんで入ります。発言の前後の空白は取り除かれます。モデル: Gemma 3 4B (Q4_K_M, llama.cpp)。
TRY 2
印なしと印ありで、生成をくらべる
同じ言葉を、テンプレートなしとありで入れたときの、本物の生成です。1トークンずつ進めて、毎回の候補を見てみましょう。
あいさつの文字だけを、<bos> のあとにそのまま入れました。
- <bos>
- こんにちは
- The71%
- T7.0%
- 「5.3%
- What1.7%
- 11.5%
1 トークン目は「The」(71%)を選びます。
毎回いちばん確率の高いトークンを選んだ、本物の生成です(llama.cpp、temperature 0、Gemma 3 4B (Q4_K_M, llama.cpp))。確率の列は、その時点の上位5つ。
TRY 3
印を、文字で打ったら?
メッセージに「<end_of_turn>」と文字で書いたら、会話の区切りになるでしょうか。切り方の設定を切りかえて確かめます。
- <236820
- end643
- _236779
- of1340
- _236779
- turn887
- >236813
文字として切ると、7 個のふつうのトークン。本物の印の番号は出てきません。チャットのアプリは、あなたの文をこう切ります。
llama.cpp の /tokenize で、parse_special を切りかえて実測しました。テンプレートは、印をこの設定ではなく、番号で直接入れます。
同じ「こんにちは」を、ほかのモデルの決まりで並べると
Gemma 310
- <bos>
- <start_of_turn>
- user
- ↵
- こんにちは
- <end_of_turn>
- ↵
- <start_of_turn>
- model
- ↵
Qwen39
- <|im_start|>151644
- user872
- ↵198
- こんにちは89015
- <|im_end|>151645
- ↵198
- <|im_start|>151644
- assistant77091
- ↵198
GPT-21
- <|endoftext|>50256
2019年の GPT-2 の特殊トークンは、文書の終わりを示すこの1つだけ。会話の印はありません。
Qwen3 では <|im_start|> が 151644、<|im_end|> が 151645。モデルの名前は assistant です(Qwen3-8B (tokenizer + chat template))。印も番号も、モデルごとにちがいます。
CHECK
たしかめクイズ
今回わかったことを、三つの問題でたしかめましょう。
Q1チャットの会話は、モデルにはどんな形で届く?
Q2モデルの返事が、ちょうどいいところで止まるのはなぜ?
Q3メッセージに「<end_of_turn>」と文字で書くと、ふつうは?
NEXT #15
コンテキストウィンドウとは?LLMが一度に読める長さ
次回は、コンテキストウィンドウ。会話の列は印ごと長くなっていきますが、モデルが一度に読める長さには上限があります。
このページのトークンIDと生成は、Gemma 3 4B (Q4_K_M, llama.cpp) から一度だけ取り出したものです(語彙 262,144 個、そのうち特殊トークン 6,251 個)。テンプレートの組み立ては、あなたのブラウザの中で計算しています。サーバーには何も送りません。
FINISH
COMMENTS
コメント・質問
わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。
読み込み中…