「プロンプトを直したら良くなった気がするが、本当に良くなったのか分からない」「同じ指示なのに、日によって出来が違う」——AIを仕事で使い込むほど、この2つが気になり始めます。
原因は、改善を感覚で判断していることにあります。比べ方を決めずに直せば、良くなったかどうかは永遠に分かりません。逆に、比べ方さえ決めれば精度は着実に上がります。
この記事では、プロンプトを検証しながら育てる手順を、そのままコピーできるテンプレートつきで解説します。統計の知識は要りません。
なぜ感覚では改善できないのか
AIの出力は毎回変わる
まず前提として、同じプロンプトでも出力は毎回少しずつ変わります。1回試して良かったのは、プロンプトが良かったのか、たまたま当たりを引いたのか区別がつきません。
直した直後は良く見える
手を入れた直後は、期待が入るぶん良く見えます。この思い込みを外すために、比べる仕組みが要ります。
必要なのは3つだけ
- 同じ入力を複数回試すこと
- 何をもって良いとするかを先に決めておくこと
- 変える箇所を1つに絞ること
これだけで、改善が積み上がるようになります。
準備｜評価基準を先に決める
「良い」を言葉にする
いちばん重要な工程です。何が達成できていれば合格なのかを、5項目以内で書き出してください。ここが曖昧なままだと、何回試しても結論が出ません。
実際にやってみると、この工程がいちばん難しいことに気づきます。普段は「なんとなく良い文章」で判断しているからです。言葉にできない基準は、AIにも伝えられません。裏を返すと、評価基準を書き出した時点で、プロンプトに何を書けばいいかも同時に見えてきます。
チェックリストの形にする
たとえばメール文なら「要件が冒頭にある」「相手の負担が明示されている」「300字以内」「敬体で統一」「依頼の期限が入っている」の5つ。満たしているかどうかを、はい・いいえで判定できる形にするのがコツです。
基準はAIにも作らせられる
【プロンプト】
「プロンプトの出力を評価する基準を作成してください。
【作りたいもの】
（例：問い合わせへの一次返信メール）
【条件】
・満たしているかを、はい・いいえで判定できる項目にする
・5項目以内にする
・主観的な表現（読みやすい、丁寧など）は使わない
・数えられるもの、有無で判断できるものにする
・最も重要な項目を1つ指定する」
手順1｜変えるのは1か所だけ
2か所同時に変えると分からなくなる
役割の指定と出力形式を同時に変えて良くなっても、どちらが効いたのか分かりません。次に応用できない改善は、改善とは言えません。
変える候補の優先順
- 1番目：役割の指定（誰として答えるか）
- 2番目：条件の追加（何をしてはいけないか）
- 3番目：出力形式の指定（どういう形で返すか）
- 4番目：例の提示（望ましい答えの見本）
この順で効果が出やすい傾向があります。基本の組み立てはChatGPTに上手に指示を出す方法で解説しています。
手順2｜同じ入力で5回ずつ試す
1回では判断できない
A案とB案を、それぞれ同じ入力で5回ずつ実行します。合計10回。これで傾向がはっきり見えます。面倒に感じますが、感覚で何日も悩むより速く終わります。
会話を分けて実行する
同じ会話の中で続けて試すと、前の回答に引きずられます。必ず新しい会話を開いてください。ここを間違えると、比較そのものが無意味になります。
採点もAIに任せられる
【プロンプト】
「次の出力を、評価基準に沿って採点してください。
【評価基準】
（先ほど作ったチェックリストを貼り付け）
【採点対象】
（出力を貼り付け）
【条件】
・項目ごとに、はい・いいえで判定する
・いいえの項目は、どこがどう足りないかを1行で書く
・判定できない項目は「判定不可」とする
・全体の感想は書かない
・甘く採点しない」
甘く採点させない
AIは基本的に肯定的に評価します。この一文を入れないと、すべて「はい」が返ってきて意味がありません。
手順3｜結果を記録して残す
10回分の合否を数える
A案が5回中3回合格、B案が5回中5回合格。この差が出て初めて「B案が良い」と言えます。3対4程度の差なら、誤差の範囲と考えて他の要素を試してください。
数える対象は合格した回数だけで構いません。平均点を出す必要も、統計の計算をする必要もありません。5回中2回しか通らないプロンプトを、毎日使っているとしたら、それは直す価値があるという判断ができれば十分です。逆に5回中5回通るものは、それ以上触らないほうが安全です。
負けた案も残す
効かなかった変更を記録しておかないと、半年後に同じことを試します。「これは効かなかった」という記録が、いちばん時間を節約します。保存の方法はAIプロンプトの管理・整理術で解説しています。
勝った案は共有する
効いたプロンプトは、チームで使い回してこそ価値が出ます。共通の前提として登録する方法はChatGPTのプロジェクト機能とメモリ機能の使い方をご覧ください。
効きやすい改善パターン5つ
1. 禁止事項を明示する
「〇〇してください」より「〇〇しないでください」のほうが効く場面が多いです。書かれていない情報を補わない、まとめを書かない、など。
2. 出力の形を固定する
箇条書き、表、字数。形が決まっていると、内容の比較もしやすくなります。
3. 悪い例を見せる
良い例だけでなく、避けたい書き方も見せると精度が上がります。
4. 手順を分ける
1回で完成させようとせず、整理させてから書かせると質が安定します。深掘りの方法はChatGPTの深掘り質問テクニックが参考になります。
5. 自己点検させる
出力の最後に「この回答が条件を満たしているか確認して」と続けるだけで、抜けが減ります。
チーム全体で精度を上げる
個人の工夫は共有されないと消える
誰かが良いプロンプトを見つけても、その人の会話履歴に埋もれたままでは組織の資産になりません。効いた指示文を1か所に集める場所を決めるだけで、全員の出発点が上がります。ファイル1枚で構いません。
失敗の共有のほうが価値が高い
成功例より、「この書き方は効かなかった」という記録のほうが時間を節約します。成功例は真似すれば済みますが、失敗は知らなければ全員が順番に踏むからです。
更新した人と日付を残す
【プロンプト】
「社内で共有するプロンプト集の記録フォーマットを作成してください。
【条件】
・1件あたり10行以内に収める
・用途、指示文、試した回数、うまくいった割合を記載する欄を作る
・試したが効かなかった変更を書く欄も作る
・更新した人と日付の欄を入れる
・パソコンが苦手な人でも埋められる項目名にする」
誰がいつ直したか分からないプロンプトは、直していいのか誰も判断できず、結局放置されます。この2項目を入れるだけで運用が続きます。詳しい管理方法はAIプロンプトの管理・整理術で解説しています。
やりがちな失敗
入力を変えながら比べる
プロンプトを比べているのに、渡す材料を毎回変えてしまう。これでは何を比べているのか分かりません。入力は完全に同じものを使ってください。
長くすれば良くなると思う
条件を足し続けると、後半の指示が効かなくなります。削って良くなることも多いので、削る方向の検証も必ず試してください。よくある失敗はAIプロンプトでやりがちな失敗10選にまとまっています。
1つのプロンプトで全部やろうとする
調査も執筆も校正も1回で、というプロンプトは安定しません。工程ごとに分けたほうが、検証も改善も簡単です。
よくある質問（FAQ）
Q. 5回も試すのは面倒です。減らせませんか？
3回でも傾向は見えますが、差が小さいときは判断できません。重要なプロンプトほど回数をかける、という使い分けが現実的です。
Q. AIに採点させて信用できますか？
はい・いいえで判定できる基準に限れば、おおむね信用できます。「読みやすいか」のような主観的な項目は、人が見てください。
Q. モデルが変わったら作り直しですか？
作り直しは不要ですが、再検証は必要です。以前効いた工夫が不要になっていることもあります。
Q. 精度が上がらないときは？
プロンプトではなく、そもそもAIに向かない作業の可能性があります。基本的な改善はChatGPTの回答精度を上げるコツ7選をご覧ください。
Q. 型やフレームワークを使うべきですか？
出発点としては有効です。ただし型をそのまま使うのではなく、自分の用途に合わせて検証しながら削るのが本筋です。深津式・シュンスケ式・ゴールシークプロンプトを徹底比較が参考になります。
まとめ
この記事では、プロンプトのA/Bテストと改善方法を解説しました。ポイントを整理します。
- 同じプロンプトでも出力は毎回変わる。1回では判断できない
- 先にはい・いいえで判定できる評価基準を5項目以内で決める
- 変えるのは1か所だけ。2か所変えると学びにならない
- A案B案をそれぞれ5回、新しい会話で試す
- 採点をAIに任せるときは「甘く採点しない」を入れる
まずは毎日使っているプロンプトを1つ選んで、評価基準を書き出してみてください。それだけで、直すべき場所が見えてきます。
プロンプトの基本はAIプロンプトとは？初心者が最初に知るべき基礎知識、AI検索時代のコンテンツ戦略はSEOプロンプト作成ツール完全ガイドもどうぞ。その他はAIプロンプト活用ブログでご紹介しています。
コメント