「長い会話を続けていたら、最初に伝えた条件を忘れられた」「長文を貼り付けたら、途中までしか読んでくれない」——AIを使い込むと、必ずこの2つに突き当たります。
これは不具合ではありません。AIが一度に扱える情報の量には上限があり、その仕組みを知らないまま使っているために起きる現象です。仕組みが分かれば、対処法も決まります。
この記事では、トークンとコンテキストウィンドウという2つの言葉を、専門知識なしで理解できる形で解説します。そのうえで、忘れられないための実践的な対策を紹介します。
トークンとは何か
AIが文章を数える単位
トークンは、AIが文章を処理するときの細切れの単位です。単語や文字とは少しずれていて、日本語なら1文字が1トークン前後、英語なら1単語が1トークン強、といった感覚になります。
正確な数は気にしなくていい
実務では厳密な数え方を覚える必要はありません。「日本語なら文字数とだいたい同じくらい」と考えておけば足ります。4,000字の記事なら、おおよそ数千トークンです。
なぜこの単位が出てくるのか
2つの理由があります。1つは料金がトークン数で決まること。もう1つは、次に説明する上限がトークン数で定められていることです。料金の仕組みはChatGPT API（OpenAI API）の使い方入門で解説しています。
コンテキストウィンドウとは何か
AIの「作業机の広さ」
コンテキストウィンドウは、AIが一度に見渡せる情報の量です。机の広さだと考えてください。机に載る量には限りがあり、新しい紙を置けば古い紙は端から落ちていきます。
会話の履歴も机に載っている
ここが重要な点です。あなたが今送った文章だけでなく、それまでの会話すべてが机に載っています。やり取りを重ねるほど机が埋まり、最初のほうの内容から押し出されていきます。
だから「忘れられる」
長い会話で最初の条件が守られなくなるのは、AIが不真面目だからではありません。その情報が机から落ちているからです。原因が分かれば、対処は簡単になります。
上限に近づくと何が起きるか
最初の指示が効かなくなる
いちばん多い症状です。会話の冒頭で決めた文体や禁止事項が、後半で守られなくなります。
長文の後半が読まれていない
長い資料を貼り付けたとき、要約が前半に偏ることがあります。これは後半が机に載りきっていない兆候です。
回答が急に的外れになる
それまで噛み合っていた会話が、突然ずれ始める。この時点で会話を作り直したほうが速いと判断してください。
対策1｜会話を短く切る
話題が変わったら新しい会話にする
最も効果的で、最も実行されていない対策です。1つの会話を延々と続けず、目的ごとに分けてください。机が広く使えるので、精度が上がります。
切り替える前に要点を持ち出す
会話を切る前に、必要な情報だけを取り出しておきます。
【プロンプト】
「ここまでの会話を、新しい会話に引き継ぐための要約にしてください。
【条件】
・決まったことを箇条書きで書く
・まだ決まっていないことを別枠で書く
・私が指定した条件や制約は、省略せずすべて残す
・経緯や議論の過程は書かない
・そのまま次の会話の冒頭に貼れる形にする」
この要約を貼って再開する
新しい会話の1通目にこの要約を貼れば、机がきれいな状態で、前提だけ引き継げます。要約のコツはChatGPTで文章を要約する方法が参考になります。
対策2｜前提を会話の外に置く
毎回同じ説明をしているなら設定に移す
会話のたびに同じ前提を打っているなら、それは会話の中ではなく設定に置くべき情報です。プロジェクト機能やメモリ機能を使えば、机の上を占領せずに前提を効かせられます。方法はChatGPTのプロジェクト機能とメモリ機能の使い方で解説しています。
資料が多い場合は専用ツールを使う
大量の資料を根拠にしたい場合、全部を会話に貼るのは無理があります。資料を読み込ませる仕組みを持つツールを使ってください。NotebookLMの使い方完全ガイドが該当します。
対策3｜長文の渡し方を変える
分割して渡す
長い文書は、章ごとに分けて渡します。「これから5回に分けて送ります。全部送るまで作業しないでください」と先に伝えるのがコツです。
要約を挟んでから本題に入る
全文が必要ないことも多いはずです。先に要約を作り、その要約に対して作業させると、机の消費が大幅に減ります。
重要な指示は最後にもう一度書く
長い文章を貼るときは、指示を文章の前と後ろの両方に書いてください。間に挟まれた指示は効きにくくなります。指示の組み立て方はChatGPTに上手に指示を出す方法をご覧ください。
料金がかかる使い方では効き方が違う
会話が長いほど1回の費用が上がる
通常の月額プランを使っている限り、トークン数を意識する必要はほとんどありません。しかし従量課金で使う場合は、話が変わります。やり取りのたびに、それまでの会話全体をもう一度送っているため、会話が長引くほど1回あたりの費用が上がっていきます。
同じ作業でも会話の切り方で費用が変わる
20往復の会話を1本続けるのと、5往復ずつ4本に分けるのとでは、後者のほうが安く済みます。机に載せ直す量が減るからです。使い捨ての会話を増やす習慣は、精度と費用の両方に効きます。
まとめて処理するなら要約を先に作る
【プロンプト】
「これから複数の文書を処理します。まず各文書を要約してください。
【条件】
・1文書につき200字以内にまとめる
・後の作業で必要になる固有名詞と数字は省略しない
・意見や解釈は加えず、書かれている内容だけを残す
・要約だけを出力し、感想や前置きは書かない」
要約を作ってから本題の作業に入れば、扱う量が数分の1になります。大量の資料を処理するときほど、この一手間が効きます。
誤解されやすい3つの点
「上限が大きいほど良い」ではない
机が広くても、散らかっていれば探すのに時間がかかります。実際、大量の情報を入れると、重要な指示が埋もれて精度が下がることがあります。入れる量は必要最小限が原則です。
会話をまたいで覚えているわけではない
メモリ機能を使っていない限り、新しい会話を開いた時点で前の会話の内容は残っていません。「昨日話した件だけど」は通じません。
忘れたのではなく「元々見ていない」
机から落ちた情報は、思い出せるわけではありません。AIはそれを見ないまま答えているので、堂々と間違えます。この挙動はAIのハルシネーションを見抜く方法と同じ根を持っています。
実務での使い分け
短い作業は使い捨ての会話で
メール1本、要約1つ。終わったら閉じると決めておけば、机が埋まる問題自体が起きません。
長い作業は工程で分ける
調査、構成、執筆、校正。工程ごとに会話を分け、成果物だけを次に渡すのが安定します。検証しながら改善する方法はプロンプトのA/Bテストと改善方法で解説しています。
調査は専用の機能に任せる
大量の情報源を扱う調査は、会話に貼るのではなく調査用の機能を使うほうが確実です。Deep Researchの使い方完全ガイドをご覧ください。
よくある質問（FAQ）
Q. 自分が今どれくらい使っているか分かりますか？
通常の画面では表示されないことがほとんどです。目安として、やり取りが20往復を超えたら会話を切り替えると決めておくのが実用的です。
Q. 上限を超えるとエラーになりますか？
エラーになる場合もありますが、多くは黙って古い部分が落ちます。気づかないまま精度が落ちるので、こちらのほうが厄介です。
Q. 有料プランなら上限は増えますか？
プランやモデルによって扱える量は異なります。ただし増やすより、渡す情報を減らすほうが効果的な場面が多いのが実感です。
Q. 日本語は不利だと聞きました。
同じ内容なら、日本語は英語よりトークンを多く消費する傾向があります。ただし実務で気にするほどの差ではありません。日本語で書くことをためらう必要はありません。
Q. 精度が上がらないのは上限のせいですか？
まずプロンプト自体を見直してください。上限が原因なのは、長い会話や長文を扱っているときに限られます。基本的な改善はChatGPTの回答精度を上げるコツ7選、よくある失敗はAIプロンプトでやりがちな失敗10選をご覧ください。
まとめ
この記事では、トークンとコンテキストウィンドウの仕組みを解説しました。ポイントを整理します。
- トークンはAIが文章を数える単位。日本語なら文字数とだいたい同じ
- コンテキストウィンドウはAIの作業机の広さ。会話の履歴も机に載る
- 忘れられるのは情報が机から落ちたから。不具合ではない
- 対策の基本は会話を短く切り、前提は設定に置く
- 机は広ければ良いわけではない。入れる量は必要最小限に
まずは今開いている長い会話を、要約して新しい会話に引き継いでみてください。回答の精度が戻るのが体感できます。
プロンプトの基本はAIプロンプトとは？初心者が最初に知るべき基礎知識、AI検索時代のコンテンツ戦略はSEOプロンプト作成ツール完全ガイドもどうぞ。その他はAIプロンプト活用ブログでご紹介しています。
コメント