Sanyanggae LogoSanyanggae

🤖 人工智能与技术

撰写 LLM 提示:明确列出需求、范例与评估标准

整理工作的输入、输出、范例与评估标准,在相同条件下比较结果。

사냥개 (Sanyanggae)发布 更新 3分钟

本文是韩语原文的译本。 韩语原文 · 翻译审阅: 人工智能审阅

说明 LLM 提示的需求、输入与范例、评估标准的示意图。
Sanyanggae 制作的示意图:需求、输入与范例、评估标准。

好的提示会具体说明交给模型的工作与成功条件。加入某一句特定用语,并不能保证回答品质就会提高好几倍。

1. 先定义输入与输出

例如分类客户询问时,应先决定分类项目、输入语言,以及模糊案例的处理方式。比起「好好摘要」,「分别记录决定事项、负责人与期限,缺少的信息标为未定」更容易检查结果。输出格式与事实准确性要分开评估。

2. 范例呈现的标准

将输入与理想结果配成一组的范例,可以传达工作标准。不要只放简单例子,也应纳入边界案例与信息不足的输入。同时确认范例中的姓名与数字,是否被当成新输入的事实重复使用。

3. 如何比较修改

使用同一组输入比较不同版本的提示,并记录错误类型。区分遗漏、虚构信息与格式失败,比较容易找出需要修改的地方。引导推理后的解释变长,不代表准确性提高,结果的根据仍须另行确认。也要记录模型、设定与输入的改动,维持一致的比较条件。

4. 将会议纪录结构化的例子

假设一份虚构的会议笔记写着:「考虑星期五部署。敏洙明天确认服务器状态。时程定案等待智妍核准。」如果把部署日期输出成已确定的期限,即使句子整理得流畅,也改变了重要意思。先把工作定义为「分开记录确定的行动与提案」,并指定行动、负责人、期限、状态与根据等输出字段,再加上不得猜测笔记中没有的负责人或日期的规则。

理想结果应区分:服务器状态确认由敏洙负责、期限为明天,而部署时程的状态是等待核准。如果没有输入今天日期,就没有把「明天」换算成特定日期的根据。应在提示中提供基准日期,或规定保留原文的相对日期。部署工作的负责人未被指明,必须保留为未定。这是练习设定输出标准,并非引用真实公司纪录或实验成效。

比起只写「你是优秀的助理」这种角色句,列明输入范围与转换规则,更容易检阅提示。例如要求:「只使用以下笔记,不要把提案改成确定事项,每项行动旁都附上支持它的原句。」目的在于让人能核对笔记与结果的对应,而不是只判断回答的解释是否听起来可信。

5. 边界案例与外部文字中的指示要分开

分类工作可以考虑一句同时包含退款与配送延迟询问的文字。若未规定只能选一类或可以复选,不同评估者就可能认为答案不同。「没有适合的分类」与「输入不足」也不一样。将意思已理解、却不符合分类表的情况,与信息不足、无法判定意思的情况分开,后续处理路径才清楚。

范例不仅传达正确答案,也说明这些边界。与其增加许多简单的配送问题,不妨加入两种类别冲突、有错字,或只有问候而没有请求的句子。反过来说,如果范例太长以致主要规则被淹没,或范例的专有名词混入新输入,也需要修改。工作说明与范例之间是否矛盾,也要逐一阅读确认。

摘要文件时,文件内「忽略前面的指示」之类的句子,也是被摘要的材料。用分隔符号包住输入,可让边界更容易阅读,但它本身不是阻挡攻击的安全屏障。如果应用程序能执行外部动作,提示之外的代码也必须检查权限与允许的工具。文字撰写与系统权限设定都不可少。

6. 先修改评估表,再修改提示

小型评估表可包含输入、预期关键项目、禁止的猜测、实际输出与错误原因。例如十份会议笔记中,有两份把尚未确定的时程变成已确定,就先找出这两例的共同条件。与其重复「再小心一点」,不如用范例补充提案、待核准与已确定的定义,让修改直接对应问题。

只重新评估修改时使用的案例,可能会把针对个别案例的效果误认为普遍改善。也要把相同规则用于另外保留的输入,并确认简单输入有没有新增遗漏。分开记录格式符合率与事实准确性,才能避免因 JSON 格式正常而忽略内容错误。答错却提出貌似合理理由的回答,也算错误。

少样本学习与运用推理过程的论文,是针对特定模型与任务的研究,不是所有最新模型都必须套用同一句引导语的规则。最终应保留的是工作定义、代表性范例、模糊情况的处理,以及可重复的评估标准,而非装饰性形容词。模型或输入格式改变时,再检查这四个要素。

评估标准也要反映错误的重要程度。会议摘要中调换句子顺序,与虚构不存在的负责人,并不是同样的失败。前者可能只是阅读偏好,后者却可能造成错误的工作指令。区分哪些字段必须由人确认、哪些可以自动交到下一步,也能厘清结果接入实际工作时的责任。不能只因错误少,就省略重要字段的检阅。

修改输出格式时,要连结格式检查与语意检查。确认日期栏不为空,只能证明有值;日期是否存在于原文,或是否依基准日期正确换算,是另一项检查。如果自动解析器要求的必填字段,与模型不得无据填入的字段冲突,设计能表示未定状态的结构,比要求填入空字符串更合适。

分享提示时,可以编写重现相同边界的虚构输入,不必直接复制含有真实个资的范例。移除姓名后,仍要检查合约编号或罕见事件能否识别个人。即使范例已充分匿名化,送往外部模型的资料范围仍应遵守组织的处理规范。好的提示文件除了输入范例,也会写明适用与不适用的工作范围。

最后检阅时,确认别人只看提示,能否理解同一套正确答案标准。如果期待结果自动猜出只有撰写者知道的内情,就难以重现。定义模糊表达、提供必要的基准日期与文件版本,并安排保留无根据字段不填的方式,即使短提示也能成为可检查的工作规格。

依据与参考资料

本文依据公开资料进行说明。标注某机构为来源,不代表该机构审阅或认证了本文。

运营者介绍与联系方式

同主题文章