相談する

知識ゼロから完全に理解するLLM#15

コンテキストウィンドウとは?LLMが一度に読める長さ

モデルに見えるのは、窓の中のトークンだけ。窓の大きさを変えて、長い文章や会話があふれる様子を見てみましょう。

  • POINT 1コンテキストウィンドウは、モデルが一度に読めるトークンの数の上限。入れた列と、モデルが書く返事の両方が入る。
  • POINT 2Gemma 3 が扱える上限は131,072トークン。実際の窓の大きさは、モデルを動かすときに決める。長い窓ほど、読むのに時間がかかる。
  • POINT 3窓からあふれた古いトークンは、捨てられる。窓の外のことは、モデルには見えない。

TRY 1

窓がいっぱいになると、止まる

モデルに長い物語を頼みました。窓の大きさを変えて、どこで止まるか見てみましょう。窓の大きさは、数字で書きこむこともできます。

頼んだこと:「猫が主人公の、長い物語を書いてください。」

256

20入れた列

0書いた物語

256窓の大きさ

0 トークン書きました。窓の空きは、あと 236 トークン。

物語は、Gemma 3 4B (Q4_K_M, llama.cpp) がいちばん確率の高いトークンを選び続けて書いた本物です(窓2,048トークン、全部で 1052 トークン)。窓がいっぱいになるまでは何も捨てられないので、どの大きさの窓でも、ここまでは同じ文になります。

TRY 2

書きながら、古いトークンを捨てる

同じ頼みごとを、窓256トークンで、llama.cpp の context shift をオンにして書かせました。窓がいっぱいになるたびに、<bos> だけを残して、いちばん古い半分を捨てて続けます。

240

133窓の中

127捨てた

1捨てた回数

いま窓の中にある文

誰も住んでいなかった。壁は苔むし、窓ガラスは割れ、庭は雑草に覆われていた。クロムは、雨風をしのぐため、古びた物置の中に身を潜めた。 物置の中は、埃っぽく、古ぼけた家具や道具が散乱していた。クロムは、慎重に動き回り、匂いを嗅ぎ、周囲の状況を探った。すると、物置の奥から、かすかに光が漏れているのが見えた。 好奇心に駆られたクロムは、物置の奥へと進んでいった。すると、そこには

窓の外に捨てた文

<start_of_turn>user 猫が主人公の、長い物語を書いてください。<end_of_turn> <start_of_turn>model ## 月影の猫、クロム **第一章:忘れられた屋敷** クロムは、雨の降る夜に、古びた屋敷に迷い込んだ。彼は、灰色の毛並みに、鋭い緑色の瞳を持つ、普通の猫ではなかった。彼の血筋には、古くから屋敷に住み着いた、月の力を宿した猫たちがいたという。しかし、その力は、長い年月を経て、ほとんど失われていた。 屋敷は、長い間、

1 回捨てて、127 トークンが窓の外に出ました。「猫」は窓の中にもうありません。

Gemma 3 4B (Q4_K_M, llama.cpp)、llama-server -c 256 --context-shift で書いた本物の 700 トークンです。どこで捨てたかは、サーバーのログ(n_keep = 1、n_discard = 127)と同じ決まりで計算しています。

TRY 3

猫の名前を、覚えている?

最初に猫の名前を伝えた会話です。窓の大きさを決めると、アプリのように、返事の32トークンを空けて入るまで、古い発言から捨てます。モデルの答えは、その列への本物の答えです。

256
  1. user私の猫の名前はマロンです。覚えておいてください。
  2. modelはい、マロンちゃんですね!覚えてますよ。マロンちゃん、可愛いですね!😊
  3. userおすすめの本を1冊、一文で教えてください。
  4. modelはい、おすすめの本を1冊、一文でご紹介します。**「夜は短し歩けよ乙女」**は、個性的なキャラクターたちが繰り広げる、切なくも美しいファンタジー恋愛物語です。
  5. user日本でいちばん高い山は?一文で答えてください。
  6. model日本で一番高い山は富士山です。
  7. user簡単な朝ごはんのアイデアを一文で教えてください。
  8. modelトーストにバターを塗って、ヨーグルトとフルーツを添えた、手軽で栄養満点の朝ごはんはいかがでしょう?
  9. user雨の日の過ごし方を一文で教えてください。
  10. model雨の日は、温かい飲み物を片手に、本を読んだり、映画を観たりして、心安らぐ時間を過ごしましょう。
  11. user私の猫の名前は何でしたか?

4捨てた発言

154残った列のトークン

32返事の分

154 トークンを読んだモデルの答え私はあなたの猫の名前を知りません。あなたが私に猫の名前を教えてくれませんでしたので、答えられません。

古い発言を 4 つ捨てました。猫の名前を伝えた発言は、窓の外です。

答えは Gemma 3 4B (Q4_K_M, llama.cpp) の本物の出力です。会話の全部は 267 トークン。窓256トークンのサーバーにそのまま送ると、こう断られました: request (267 tokens) exceeds the available context size (256 tokens), try increasing it

TRY 4

このシリーズのナレーションは、どこまで入る?

第1回から第14回までのナレーションを、トークンに切って数えました。窓の大きさと言語を選んで、何本ぶん入るか見てみましょう。

言語
窓の大きさ

1入った回

1,805使ったトークン

24,67614本の合計

入るのは第1回だけ。第2回は、窓からあふれます。

各回の台本を Gemma 3 4B (Q4_K_M, llama.cpp) のトークナイザーで切った数です。131,072(131,072)は、Gemma 3 が扱える上限です。

CHECK

たしかめクイズ

今回わかったことを、三つの問題でたしかめましょう。

Q1コンテキストウィンドウの大きさは、何で数える?

Q2モデルが書く返事は、窓に入る?

Q3長い会話で、最初に伝えたことを答えられなくなったのはなぜ?

このページの物語・答え・トークン数は、Gemma 3 4B (Q4_K_M, llama.cpp) から一度だけ取り出したものです(Gemma 3 の上限 131,072 トークン、このシリーズのサーバーの窓 2,048 トークン、実験用の小さなサーバーの窓 256 トークン)。窓の計算は、あなたのブラウザの中で行っています。サーバーには何も送りません。

FINISH

この回を見終わったら

COMMENTS

コメント・質問

わからなかったところ、もっと知りたいこと、感想など何でもどうぞ。運営がすぐにお答えします。ほかの学習者も返信できます。

読み込み中…