好的提示會具體說明交給模型的工作與成功條件。加入某一句特定用語,並不能保證回答品質就會提高好幾倍。
1. 先定義輸入與輸出
例如分類客戶詢問時,應先決定分類項目、輸入語言,以及模糊案例的處理方式。比起「好好摘要」,「分別記錄決定事項、負責人與期限,缺少的資訊標為未定」更容易檢查結果。輸出格式與事實準確性要分開評估。
2. 範例呈現的標準
將輸入與理想結果配成一組的範例,可以傳達工作標準。不要只放簡單例子,也應納入邊界案例與資訊不足的輸入。同時確認範例中的姓名與數字,是否被當成新輸入的事實重複使用。
3. 如何比較修改
使用同一組輸入比較不同版本的提示,並記錄錯誤類型。區分遺漏、虛構資訊與格式失敗,比較容易找出需要修改的地方。引導推理後的解釋變長,不代表準確性提高,結果的根據仍須另行確認。也要記錄模型、設定與輸入的改動,維持一致的比較條件。
4. 將會議紀錄結構化的例子
假設一份虛構的會議筆記寫著:「考慮星期五部署。敏洙明天確認伺服器狀態。時程定案等待智妍核准。」如果把部署日期輸出成已確定的期限,即使句子整理得流暢,也改變了重要意思。先把工作定義為「分開記錄確定的行動與提案」,並指定行動、負責人、期限、狀態與根據等輸出欄位,再加上不得猜測筆記中沒有的負責人或日期的規則。
理想結果應區分:伺服器狀態確認由敏洙負責、期限為明天,而部署時程的狀態是等待核准。如果沒有輸入今天日期,就沒有把「明天」換算成特定日期的根據。應在提示中提供基準日期,或規定保留原文的相對日期。部署工作的負責人未被指明,必須保留為未定。這是練習設定輸出標準,並非引用真實公司紀錄或實驗成效。
比起只寫「你是優秀的助理」這種角色句,列明輸入範圍與轉換規則,更容易檢閱提示。例如要求:「只使用以下筆記,不要把提案改成確定事項,每項行動旁都附上支持它的原句。」目的在於讓人能核對筆記與結果的對應,而不是只判斷回答的解釋是否聽起來可信。
5. 邊界案例與外部文字中的指示要分開
分類工作可以考慮一句同時包含退款與配送延遲詢問的文字。若未規定只能選一類或可以複選,不同評估者就可能認為答案不同。「沒有適合的分類」與「輸入不足」也不一樣。將意思已理解、卻不符合分類表的情況,與資訊不足、無法判定意思的情況分開,後續處理路徑才清楚。
範例不僅傳達正確答案,也說明這些邊界。與其增加許多簡單的配送問題,不妨加入兩種類別衝突、有錯字,或只有問候而沒有請求的句子。反過來說,如果範例太長以致主要規則被淹沒,或範例的專有名詞混入新輸入,也需要修改。工作說明與範例之間是否矛盾,也要逐一閱讀確認。
摘要文件時,文件內「忽略前面的指示」之類的句子,也是被摘要的材料。用分隔符號包住輸入,可讓邊界更容易閱讀,但它本身不是阻擋攻擊的安全屏障。如果應用程式能執行外部動作,提示之外的程式碼也必須檢查權限與允許的工具。文字撰寫與系統權限設定都不可少。
6. 先修改評估表,再修改提示
小型評估表可包含輸入、預期關鍵項目、禁止的猜測、實際輸出與錯誤原因。例如十份會議筆記中,有兩份把尚未確定的時程變成已確定,就先找出這兩例的共同條件。與其重複「再小心一點」,不如用範例補充提案、待核准與已確定的定義,讓修改直接對應問題。
只重新評估修改時使用的案例,可能會把針對個別案例的效果誤認為普遍改善。也要把相同規則用於另外保留的輸入,並確認簡單輸入有沒有新增遺漏。分開記錄格式符合率與事實準確性,才能避免因 JSON 格式正常而忽略內容錯誤。答錯卻提出貌似合理理由的回答,也算錯誤。
少樣本學習與運用推理過程的論文,是針對特定模型與任務的研究,不是所有最新模型都必須套用同一句引導語的規則。最終應保留的是工作定義、代表性範例、模糊情況的處理,以及可重複的評估標準,而非裝飾性形容詞。模型或輸入格式改變時,再檢查這四個要素。
評估標準也要反映錯誤的重要程度。會議摘要中調換句子順序,與虛構不存在的負責人,並不是同樣的失敗。前者可能只是閱讀偏好,後者卻可能造成錯誤的工作指令。區分哪些欄位必須由人確認、哪些可以自動交到下一步,也能釐清結果接入實際工作時的責任。不能只因錯誤少,就省略重要欄位的檢閱。
修改輸出格式時,要連結格式檢查與語意檢查。確認日期欄不為空,只能證明有值;日期是否存在於原文,或是否依基準日期正確換算,是另一項檢查。如果自動剖析器要求的必填欄位,與模型不得無據填入的欄位衝突,設計能表示未定狀態的結構,比要求填入空字串更合適。
分享提示時,可以編寫重現相同邊界的虛構輸入,不必直接複製含有真實個資的範例。移除姓名後,仍要檢查合約編號或罕見事件能否識別個人。即使範例已充分匿名化,送往外部模型的資料範圍仍應遵守組織的處理規範。好的提示文件除了輸入範例,也會寫明適用與不適用的工作範圍。
最後檢閱時,確認別人只看提示,能否理解同一套正確答案標準。如果期待結果自動猜出只有撰寫者知道的內情,就難以重現。定義模糊表達、提供必要的基準日期與文件版本,並安排保留無根據欄位不填的方式,即使短提示也能成為可檢查的工作規格。