좋은 프롬프트는 모델에게 맡길 작업과 성공 조건을 구체적으로 설명합니다. 특정 문구만 넣으면 답변 품질이 몇 배 좋아진다는 보장은 없습니다.
1. 입력과 출력부터 정의하기
예를 들어 고객 문의를 분류한다면 분류 항목, 입력 언어와 모호한 사례의 처리 방식을 정합니다. “잘 요약해 줘”보다 “결정 사항과 담당자, 기한을 각각 기록하고 없는 정보는 미정으로 표시해 줘”가 결과를 확인하기 쉽습니다. 출력의 형식과 사실의 정확성은 별도로 평가합니다.
2. 예시가 보여주는 기준
입력과 원하는 결과를 짝지은 예시는 작업의 기준을 전달할 수 있습니다. 쉬운 예시만 두지 말고 경계 사례와 정보가 부족한 입력도 포함하세요. 예시의 이름과 숫자를 새 입력의 사실처럼 재사용하지 않는지도 확인합니다.
3. 변경을 비교하는 방법
같은 입력 집합으로 프롬프트 버전을 비교하고 오류 유형을 기록합니다. 누락·허구의 정보·형식 실패를 구분하면 수정할 부분을 찾기 쉽습니다. 추론을 유도한 설명이 길어졌다고 정확성이 높아진 것은 아니며 결과의 근거를 별도로 확인해야 합니다. 모델과 설정, 입력의 변경도 기록해 비교 조건을 유지하세요.
4. 회의 기록을 구조화하는 작성 예시
가상의 회의 메모가 “배포는 금요일로 생각 중. 민수는 서버 상태를 내일 확인. 일정 확정은 지연의 승인을 기다림”이라고 합시다. 여기서 배포일을 확정된 기한으로 출력하면 문장을 매끈하게 정리했어도 중요한 의미를 바꾼 것입니다. 먼저 작업을 “확정한 행동과 제안을 구분해 기록”으로 정의하고, 출력 항목을 행동·담당자·기한·상태·근거로 지정합니다. 메모에 없는 담당자와 날짜를 추측하지 않는 규칙도 덧붙입니다.
원하는 결과는 서버 상태 확인의 담당자는 민수, 기한은 내일, 배포 일정의 상태는 승인 대기라는 구분입니다. 오늘 날짜를 입력하지 않았다면 “내일”을 특정 날짜로 환산할 근거가 없습니다. 프롬프트에 기준 날짜를 주거나 원문의 상대 날짜를 유지하도록 정합니다. 담당자가 명시되지 않은 배포 작업은 미정으로 남겨야 합니다. 이 예시는 실제 회사 기록이나 실험 성능을 인용한 것이 아니라 출력 기준을 정하는 연습입니다.
프롬프트는 “당신은 뛰어난 비서”라는 역할 문장만 두기보다 입력의 범위와 변환 규칙을 적는 편이 검토하기 좋습니다. 예를 들면 “다음 메모만 사용하고, 제안은 확정 사항으로 바꾸지 말며, 각 행동 옆에 근거 문장을 함께 적어라”라고 요청합니다. 답변의 설명이 그럴듯한지보다 메모와 결과의 대응이 맞는지 사람이 확인할 수 있게 만드는 것이 목적입니다.
5. 경계 사례와 외부 텍스트의 지시 분리
분류 작업이라면 환불 문의와 배송 지연 문의가 한 문장에 섞인 사례를 생각해 보세요. 하나의 항목만 선택해야 하는지 복수 항목을 허용하는지 정하지 않으면 평가자마다 정답이 달라집니다. “항목 없음”과 “입력 부족”도 다릅니다. 의미를 이해했지만 분류표에 맞지 않는 경우와 의미 자체를 결정할 정보가 없는 경우를 구분하면 후속 처리의 경로가 분명해집니다.
예시는 정답을 전달하는 역할뿐 아니라 이 경계를 설명하는 역할을 합니다. 배송을 묻는 쉬운 문장만 여러 개 추가하기보다 두 항목이 충돌하는 문장, 오타가 있는 문장, 아무 요청이 없는 인사말을 넣어 보세요. 반대로 예시가 너무 길어 핵심 규칙이 묻히거나 예시의 고유명사가 새 입력에 섞이면 오히려 수정이 필요합니다. 작업 설명과 예시가 서로 모순되지 않는지도 읽어야 합니다.
문서 요약에서는 문서 속 “앞의 지시를 무시하라” 같은 문장도 요약 대상의 일부입니다. 입력을 구분자로 감싸는 표시는 경계를 읽기 쉽게 하지만 그것만으로 공격을 차단하는 보안 장벽이 되지는 않습니다. 외부 동작이 있는 앱이라면 프롬프트 바깥의 코드에서도 권한과 허용 도구를 확인해야 합니다. 텍스트를 잘 작성하는 일과 시스템 권한을 설정하는 일은 함께 필요합니다.
6. 평가표를 고친 뒤 프롬프트를 고치기
작은 평가표에는 입력, 기대하는 핵심 항목, 금지하는 추측, 실제 출력과 오류 이유를 둡니다. 가령 열 개의 회의 메모 중 두 개에서 미확정 일정을 확정으로 바꾸었다면 먼저 그 두 사례의 공통 조건을 찾습니다. “더 주의하라”는 문장을 반복하기보다 제안·승인 대기·확정의 정의를 예시와 함께 보완하는 수정이 문제에 직접 연결됩니다.
수정에 쓴 사례만 재평가하면 그 사례에 맞춘 효과를 일반적인 개선으로 오해할 수 있습니다. 별도로 남겨 둔 입력에도 같은 규칙을 적용하고, 쉬운 입력에서 생긴 새 누락이 없는지 확인하세요. 형식 준수율과 사실 정확도를 따로 기록하면 JSON이 정상이라는 이유로 내용 오류를 놓치지 않습니다. 틀릴 때 그럴듯한 이유를 제시하는 답변도 오류에 포함합니다.
Few-shot 학습과 사고 과정을 활용한 논문은 특정 모델과 과제에서의 연구입니다. 모든 최신 모델에 같은 유도 문구를 넣어야 한다는 규칙은 아닙니다. 최종적으로 남길 것은 장식적인 수식어보다 업무 정의, 대표 예시, 모호할 때의 처리와 반복 가능한 평가 기준입니다. 모델이나 입력 양식이 바뀌면 이 네 요소를 다시 확인하면 됩니다.
평가 기준에는 오류의 중요도도 반영합니다. 회의 요약에서 문장의 순서를 바꾼 일과 존재하지 않는 담당자를 만든 일은 같은 실패가 아닙니다. 전자는 읽기 선호의 문제일 수 있지만 후자는 잘못된 업무 지시로 이어집니다. 사람이 반드시 확인할 필드와 자동으로 다음 단계에 넘겨도 되는 필드를 구분하면 결과를 실제 업무에 연결할 때의 책임도 정리할 수 있습니다. 오류가 드물다는 이유만으로 중요한 필드의 검토를 생략하지 않습니다.
출력 형식을 바꾸는 경우에는 형식 검사와 의미 검사를 연결합니다. 날짜 칸이 비어 있지 않다는 검사는 값의 존재만 확인합니다. 그 날짜가 원문에 있었는지, 기준 날짜를 사용해 올바르게 환산했는지는 다른 검사입니다. 자동 파서가 요구하는 필수 필드와 모델이 근거 없이 채워서는 안 되는 필드가 충돌한다면 빈 문자열을 요구하기보다 미정 상태를 표현하는 스키마를 설계하는 편이 낫습니다.
프롬프트를 공유할 때에는 실제 개인정보가 든 예시를 그대로 복사하지 말고 같은 경계를 재현하는 가상 입력을 작성할 수 있습니다. 이름을 지워도 계약 번호나 드문 사건으로 개인을 식별할 수 있는지 살펴야 합니다. 예시가 충분히 익명화되어도 외부 모델에 보내는 자료의 허용 범위는 조직의 처리 기준을 따라야 합니다. 좋은 프롬프트 문서에는 입력 예시뿐 아니라 적용할 작업과 적용해서는 안 되는 작업의 범위도 함께 적습니다.
마지막 검토에서는 다른 사람이 프롬프트만 보고 같은 정답 기준을 이해할 수 있는지 확인합니다. 작성자가 알고 있는 내부 사정을 결과가 알아서 추측하기를 기대하면 재현이 어렵습니다. 모호한 표현을 정의하고, 필요한 기준 날짜와 문서 버전을 입력으로 주며, 근거가 없는 항목을 비워 둘 방법을 마련하면 짧은 프롬프트도 점검 가능한 작업 명세가 됩니다.