よいプロンプトは、モデルに任せる作業と成功の条件を具体的に説明します。特定の表現を加えるだけで、回答の品質が何倍にもよくなるという保証はありません。
1. 入力と出力から定義する
例えば顧客の問い合わせを分類するなら、分類項目、入力言語、曖昧な事例の扱いを決めます。「うまく要約して」よりも、「決定事項、担当者、期限をそれぞれ記録し、ない情報は未定と示して」の方が結果を確認しやすくなります。出力の形式と事実の正確さは別々に評価します。
2. 例が示す基準
入力と望ましい結果を組にした例は、作業の基準を伝えられます。簡単な例だけでなく、境界事例や情報が足りない入力も含めてください。例に登場する名前や数値を、新しい入力の事実として再利用していないかも確認します。
3. 変更を比較する方法
同じ入力集合でプロンプトのバージョンを比較し、誤りの種類を記録します。欠落、架空の情報、形式上の失敗を分けると、修正箇所を見つけやすくなります。推論を促した説明が長くなっても、正確さが高まったとは限らず、結果の根拠は別に確認する必要があります。モデル、設定、入力の変更も記録し、比較条件を保ってください。
4. 会議記録を構造化する作成例
架空の会議メモが「デプロイは金曜日を検討中。ミンスは明日サーバーの状態を確認。日程の確定はジヨンの承認待ち」だったとします。ここでデプロイ日を確定した期限として出力すると、文章を滑らかに整えていても重要な意味を変えてしまいます。まず作業を「確定した行動と提案を分けて記録する」と定義し、出力項目を行動、担当者、期限、状態、根拠に指定します。メモにない担当者や日付を推測しない規則も加えます。
望ましい結果は、サーバーの状態確認の担当者がミンス、期限が明日、デプロイ日程の状態が承認待ちという区別です。今日の日付を入力していなければ、「明日」を特定の日付に換算する根拠はありません。プロンプトに基準日を与えるか、原文の相対日付を維持するよう決めます。担当者が明記されていないデプロイ作業は未定のままにする必要があります。この例は実際の企業記録や実験の性能を引用したものではなく、出力基準を定める練習です。
プロンプトは「あなたは優秀な秘書です」という役割の一文だけにするより、入力の範囲と変換規則を書く方が検討しやすくなります。例えば「次のメモだけを使い、提案を確定事項に変えず、各行動の横に根拠となる文も書いてください」と依頼します。回答の説明がもっともらしいかよりも、メモと結果の対応が正しいかを人が確認できるようにすることが目的です。
5. 境界事例と外部テキスト内の指示を分ける
分類作業なら、返金の問い合わせと配送遅延の問い合わせが一文に混ざった事例を考えてみてください。一項目だけを選ぶのか、複数項目を認めるのかを決めなければ、評価者によって正解が変わります。「該当項目なし」と「入力不足」も異なります。意味は理解できても分類表に合わない場合と、意味自体を決める情報がない場合を分けると、後続処理の経路が明確になります。
例には正解を伝える役割だけでなく、この境界を説明する役割もあります。配送を尋ねる簡単な文をいくつも足すより、二項目が競合する文、誤字のある文、依頼のないあいさつを入れてみてください。逆に、例が長すぎて中心的な規則が埋もれたり、例の固有名詞が新しい入力に混ざったりするなら修正が必要です。作業の説明と例が互いに矛盾していないかも読みます。
文書の要約では、文書内の「前の指示を無視せよ」のような文も要約対象の一部です。入力を区切り記号で囲む表示は境界を読みやすくしますが、それだけで攻撃を防ぐセキュリティー上の障壁にはなりません。外部への動作を伴うアプリなら、プロンプトの外側のコードでも権限と許可されたツールを確認する必要があります。文章を適切に書くことと、システム権限を設定することの両方が必要です。
6. プロンプトより先に評価表を直す
小さな評価表には、入力、期待する主要項目、禁止する推測、実際の出力、誤りの理由を設けます。例えば十件の会議メモのうち二件で未確定の日程を確定事項に変えたなら、まずその二件に共通する条件を探します。「もっと注意する」と繰り返すより、提案、承認待ち、確定の定義を例とともに補う修正の方が問題に直接結び付きます。
修正に使った事例だけを再評価すると、その事例に合わせた効果を一般的な改善と誤解しかねません。別に残した入力にも同じ規則を適用し、簡単な入力に新たな欠落が生じていないか確認してください。形式遵守率と事実の正確さを別々に記録すれば、JSONが正常という理由で内容の誤りを見逃さずに済みます。誤答にもっともらしい理由を付けた回答も誤りに含めます。
Few-shot学習や思考過程を活用した論文は、特定のモデルと課題についての研究です。全ての最新モデルに同じ誘導表現を加えなければならないという規則ではありません。最終的に残すのは装飾的な修飾語よりも、業務の定義、代表的な例、曖昧な場合の扱い、繰り返し使える評価基準です。モデルや入力形式が変わったら、この四要素を再確認すればよいのです。
評価基準には誤りの重要度も反映します。会議の要約で文の順序を変えることと、存在しない担当者を作ることは同じ失敗ではありません。前者は読み方の好みの問題かもしれませんが、後者は誤った業務指示につながります。人が必ず確認する項目と、自動で次の段階へ渡してよい項目を分けると、結果を実際の業務に結び付ける際の責任も整理できます。誤りがまれだからといって、重要な項目の確認を省きません。
出力形式を変える場合は、形式の検査と意味の検査を結び付けます。日付欄が空でないという検査は、値の存在だけを確認します。その日付が原文にあったか、基準日を使って正しく換算されたかは別の検査です。自動パーサーの必須項目と、モデルが根拠なく埋めてはいけない項目が衝突するなら、空文字列を求めるより、未定の状態を表すスキーマを設計する方が適切です。
プロンプトを共有する際、実際の個人情報が入った例をそのままコピーせず、同じ境界を再現する架空の入力を作れます。名前を消しても、契約番号や珍しい出来事から個人を特定できないか確認する必要があります。十分に匿名化した例でも、外部モデルに送れる資料の範囲は組織の処理基準に従わなければなりません。よいプロンプトの文書には入力例に加え、適用する作業と適用してはいけない作業の範囲も記載します。
最後の検討では、別の人がプロンプトだけを見て同じ正解基準を理解できるか確認します。作成者だけが知る内部事情を結果が自動で推測することに期待すると、再現は難しくなります。曖昧な表現を定義し、必要な基準日と文書のバージョンを入力として与え、根拠のない項目を埋めずにおける方法を設ければ、短いプロンプトでも点検可能な作業仕様になります。