Sanyanggae LogoSanyanggae

🤖 AI và công nghệ

Viết lời nhắc LLM: Làm rõ yêu cầu, ví dụ và tiêu chí đánh giá

Sắp xếp đầu vào, đầu ra, ví dụ và tiêu chí đánh giá của nhiệm vụ, rồi so sánh kết quả trong cùng điều kiện.

사냥개 (Sanyanggae)Đăng Cập nhật 10 phút

Đây là bản dịch từ nguyên bản tiếng Hàn. Bản gốc tiếng Hàn · Rà soát bản dịch: AI rà soát

Sơ đồ giải thích yêu cầu, đầu vào và ví dụ, cùng tiêu chí đánh giá của lời nhắc LLM.
Sơ đồ giải thích của Sanyanggae: yêu cầu, đầu vào và ví dụ, tiêu chí đánh giá.

Lời nhắc tốt mô tả cụ thể nhiệm vụ giao cho mô hình và điều kiện thành công. Thêm một câu chữ nhất định không bảo đảm chất lượng trả lời sẽ tăng nhiều lần.

1. Xác định đầu vào và đầu ra trước

Ví dụ, khi phân loại câu hỏi của khách hàng, hãy quy định các nhóm, ngôn ngữ đầu vào và cách xử lý trường hợp mơ hồ. “Ghi riêng quyết định, người phụ trách và thời hạn; thông tin không có thì đánh dấu chưa xác định” giúp kiểm tra kết quả dễ hơn “Hãy tóm tắt cho tốt.” Đánh giá định dạng đầu ra và độ chính xác thực tế riêng biệt.

2. Tiêu chí mà ví dụ thể hiện

Ví dụ ghép đầu vào với kết quả mong muốn có thể truyền đạt tiêu chí nhiệm vụ. Đừng chỉ dùng ví dụ dễ; hãy thêm trường hợp ranh giới và đầu vào thiếu thông tin. Đồng thời kiểm tra xem tên và con số trong ví dụ có bị dùng lại như sự thật của đầu vào mới hay không.

3. Cách so sánh thay đổi

So sánh các phiên bản lời nhắc trên cùng tập đầu vào và ghi lại loại lỗi. Phân biệt bỏ sót, thông tin bịa ra và lỗi định dạng giúp tìm phần cần sửa. Lời giải thích dài hơn do gợi ý suy luận không chứng minh độ chính xác cao hơn; cơ sở của kết quả vẫn cần kiểm tra riêng. Ghi cả thay đổi về mô hình, thiết lập và đầu vào để duy trì điều kiện so sánh.

4. Ví dụ cấu trúc hóa ghi chú họp

Giả sử ghi chú họp hư cấu viết: “Đang cân nhắc triển khai vào thứ Sáu. Minsu kiểm tra tình trạng máy chủ ngày mai. Việc chốt lịch chờ Jiyeon phê duyệt.” Nếu xuất ngày triển khai thành thời hạn đã chốt, ta đã đổi ý nghĩa quan trọng dù câu chữ trau chuốt. Trước hết xác định nhiệm vụ là “Ghi riêng hành động đã xác nhận và đề xuất”, rồi chỉ định các trường hành động, người phụ trách, thời hạn, trạng thái và bằng chứng. Thêm quy tắc không đoán người hay ngày không có trong ghi chú.

Kết quả mong muốn phân biệt Minsu là người kiểm tra máy chủ, ngày mai là thời hạn, còn lịch triển khai đang chờ phê duyệt. Nếu không nhập ngày hôm nay, không có căn cứ đổi “ngày mai” thành ngày cụ thể. Cung cấp ngày tham chiếu hoặc yêu cầu giữ ngày tương đối của bản gốc. Người phụ trách triển khai không được nêu phải để chưa xác định. Đây là bài tập xác định tiêu chí đầu ra, không phải trích hồ sơ công ty thật hay kết quả hiệu suất thực nghiệm.

Thay vì chỉ ghi vai trò như “Bạn là trợ lý xuất sắc”, nêu phạm vi đầu vào và quy tắc chuyển đổi giúp dễ rà soát hơn. Chẳng hạn: “Chỉ dùng ghi chú dưới đây, không biến đề xuất thành quyết định đã chốt, và kèm câu làm căn cứ cạnh từng hành động.” Mục đích là để người đọc kiểm tra sự tương ứng giữa ghi chú và kết quả, thay vì chỉ thấy lời giải thích có vẻ thuyết phục.

5. Phân biệt trường hợp ranh giới và chỉ dẫn trong văn bản ngoài

Với nhiệm vụ phân loại, hãy nghĩ đến câu vừa hỏi hoàn tiền vừa hỏi giao hàng chậm. Nếu không quy định chỉ chọn một nhóm hay được chọn nhiều nhóm, người đánh giá có thể đưa ra đáp án khác nhau. “Không có nhóm phù hợp” cũng khác “đầu vào chưa đủ”. Tách trường hợp hiểu được nghĩa nhưng không khớp bảng phân loại khỏi trường hợp thiếu dữ liệu để hiểu nghĩa giúp làm rõ bước xử lý tiếp theo.

Ví dụ không chỉ truyền đạt đáp án đúng mà còn giải thích ranh giới đó. Thay vì thêm nhiều câu hỏi giao hàng đơn giản, hãy thử câu xung đột hai nhóm, câu có lỗi gõ và lời chào không kèm yêu cầu. Ngược lại, cần sửa nếu ví dụ quá dài làm chìm quy tắc chính hoặc tên riêng từ ví dụ lẫn vào đầu vào mới. Cũng phải đọc để bảo đảm mô tả nhiệm vụ không mâu thuẫn với ví dụ.

Khi tóm tắt tài liệu, câu trong tài liệu như “Bỏ qua chỉ dẫn trước đó” là một phần nội dung cần tóm tắt. Dấu phân cách bao đầu vào giúp dễ nhận ra ranh giới, nhưng tự nó không phải hàng rào bảo mật ngăn tấn công. Nếu ứng dụng có thể thực hiện hành động bên ngoài, mã ngoài lời nhắc cũng phải kiểm tra quyền và công cụ được phép. Viết văn bản rõ ràng và thiết lập quyền hệ thống đều cần thiết.

6. Sửa bảng đánh giá trước khi sửa lời nhắc

Bảng đánh giá nhỏ có thể chứa đầu vào, mục chính mong đợi, suy đoán bị cấm, đầu ra thực tế và nguyên nhân lỗi. Nếu hai trong mười ghi chú biến lịch chưa chốt thành đã chốt, trước hết tìm điều kiện chung của hai trường hợp. Bổ sung định nghĩa đề xuất, chờ duyệt và đã xác nhận bằng ví dụ liên hệ trực tiếp với vấn đề hơn là lặp “Hãy cẩn thận hơn”.

Chỉ đánh giá lại trường hợp dùng để sửa dễ khiến ta nhầm hiệu quả riêng của trường hợp đó với cải thiện chung. Áp dụng cùng quy tắc cho đầu vào được để riêng, kiểm tra có xuất hiện bỏ sót mới ở đầu vào dễ không. Ghi riêng tuân thủ định dạng và độ chính xác để JSON hợp lệ không che lỗi nội dung. Trả lời sai nhưng nêu lý do nghe hợp lý vẫn là lỗi.

Các bài nghiên cứu về học qua ít ví dụ và quá trình suy luận nói về mô hình, nhiệm vụ nhất định; không phải quy tắc bắt mọi mô hình mới dùng cùng một câu gợi ý. Cuối cùng cần giữ định nghĩa công việc, ví dụ đại diện, cách xử lý mơ hồ và tiêu chí đánh giá lặp lại được, thay vì tính từ trang trí. Khi mô hình hoặc dạng đầu vào đổi, kiểm tra lại bốn yếu tố này.

Tiêu chí đánh giá cũng phải phản ánh mức quan trọng của lỗi. Đổi thứ tự câu trong tóm tắt họp khác với bịa người phụ trách không tồn tại. Việc đầu có thể chỉ là sở thích đọc, nhưng việc sau có thể dẫn đến giao việc sai. Phân biệt trường bắt buộc có người kiểm tra với trường được tự chuyển sang bước tiếp theo cũng làm rõ trách nhiệm khi dùng kết quả vào việc thật. Không bỏ kiểm tra trường quan trọng chỉ vì lỗi hiếm.

Khi đổi định dạng đầu ra, hãy nối kiểm tra định dạng với kiểm tra ý nghĩa. Kiểm tra ô ngày không trống chỉ xác nhận có giá trị. Ngày đó có trong bản gốc không, hay được đổi đúng theo ngày tham chiếu không, là kiểm tra khác. Nếu trường bắt buộc của bộ phân tích tự động xung đột với trường mô hình không được tự điền khi thiếu căn cứ, nên thiết kế cấu trúc thể hiện trạng thái chưa xác định hơn là bắt buộc chuỗi rỗng.

Khi chia sẻ lời nhắc, có thể viết đầu vào hư cấu tái hiện cùng ranh giới thay vì sao chép ví dụ có dữ liệu cá nhân thật. Dù bỏ tên, hãy kiểm tra số hợp đồng hay sự kiện hiếm có thể nhận diện người đó không. Kể cả đã ẩn danh đủ, phạm vi dữ liệu được gửi mô hình ngoài vẫn phải theo quy định xử lý của tổ chức. Tài liệu lời nhắc tốt ghi cả ví dụ đầu vào lẫn phạm vi công việc áp dụng và không được áp dụng.

Trong lần rà soát cuối, hãy kiểm tra người khác chỉ đọc lời nhắc có hiểu cùng tiêu chí đáp án đúng không. Khó tái lập nếu mong kết quả tự đoán hoàn cảnh nội bộ chỉ tác giả biết. Định nghĩa cách diễn đạt mơ hồ, cung cấp ngày tham chiếu và phiên bản tài liệu cần thiết, đồng thời cho phép để trống phần không có căn cứ sẽ biến cả lời nhắc ngắn thành đặc tả công việc kiểm tra được.

Nguồn và tài liệu tham khảo

Bài viết giải thích dựa trên tài liệu công khai. Trích dẫn một tổ chức không có nghĩa tổ chức đó đã thẩm định hay chứng nhận bài viết.

Thông tin đơn vị vận hành và liên hệ

Bài cùng chủ đề