Sanyanggae LogoSanyanggae

🤖 IA & Tecnologia

Escrever prompts para LLM: explicitar requisitos, exemplos e critérios de avaliação

Organizar entradas, saídas, exemplos e critérios de avaliação e comparar resultados nas mesmas condições.

사냥개 (Sanyanggae)Publicado Atualizado 11 min de leitura

Este artigo é uma tradução do original em coreano. Original em coreano · Revisão da tradução: Revisão por IA

Diagrama explicativo de requisitos, entradas e exemplos e critérios de avaliação de prompts para LLM.
Diagrama explicativo de Sanyanggae: requisitos, entradas e exemplos, e critérios de avaliação.

Um bom prompt descreve concretamente a tarefa delegada ao modelo e as condições de sucesso. Inserir uma frase específica não garante multiplicar a qualidade da resposta.

1. Definir primeiro entradas e saídas

Ao classificar consultas de clientes, por exemplo, especifique categorias, idioma da entrada e tratamento de casos ambíguos. «Registre decisões, responsáveis e prazos separadamente e marque informações ausentes como indeterminadas» facilita a verificação mais que «Resuma bem». Avalie formato e precisão factual separadamente.

2. Os critérios demonstrados pelos exemplos

Exemplos que associam entrada e resultado desejado podem transmitir os critérios da tarefa. Inclua casos-limite e entradas insuficientes, não apenas exemplos fáceis. Verifique também se nomes e números dos exemplos são reutilizados indevidamente como fatos de novas entradas.

3. Comparar mudanças

Compare versões do prompt com o mesmo conjunto de entradas e registre tipos de erro. Distinguir omissões, informações inventadas e falhas de formato ajuda a localizar revisões necessárias. Uma explicação mais longa induzida por pedidos de raciocínio não demonstra maior precisão: verifique separadamente a fundamentação do resultado. Registre mudanças de modelo, configurações e entradas para manter condições comparáveis.

4. Exemplo de estruturação de notas de reunião

Imagine uma nota fictícia: «Estamos considerando sexta-feira para a implantação. Minsu verificará o estado do servidor amanhã. A confirmação do cronograma aguarda aprovação de Jiyeon». Apresentar sexta-feira como prazo confirmado altera um sentido importante mesmo com redação fluente. Defina a tarefa como «Registrar ações confirmadas separadas de propostas» e os campos ação, responsável, prazo, estado e evidência. Proíba adivinhar responsáveis e datas ausentes da nota.

O resultado esperado distingue Minsu como responsável pela verificação, amanhã como prazo e aguardando aprovação como estado da implantação. Sem a data atual como entrada, não há base para converter «amanhã» em data específica. Forneça uma data de referência ou preserve datas relativas do original. O responsável pela implantação não informado deve permanecer indeterminado. É um exercício de definição de critérios, não uma citação de registros empresariais ou resultados experimentais.

Em vez de conter apenas «Você é um excelente assistente», o prompt é mais verificável quando explicita o escopo da entrada e regras de transformação. Por exemplo: «Use apenas as notas seguintes, não transforme propostas em decisões confirmadas e inclua a frase de apoio ao lado de cada ação». O objetivo é permitir que alguém verifique a correspondência entre notas e resultado, não apenas julgue se a explicação parece convincente.

5. Separar casos-limite e instruções no texto externo

Na classificação, imagine uma frase misturando reembolso e atraso de entrega. Se não determinar se pode haver uma categoria ou várias, avaliadores discordarão da resposta correta. «Nenhuma categoria correspondente» também difere de «Entrada insuficiente». Separar sentido compreendido mas fora da tabela de falta de dados para determinar o próprio sentido esclarece o tratamento posterior.

Exemplos não só transmitem respostas: explicam essas fronteiras. Em vez de muitas frases fáceis sobre entrega, acrescente uma com categorias conflitantes, outra com erro de digitação e uma saudação sem pedido. Revise exemplos tão longos que escondam a regra principal ou cujos nomes próprios contaminem novas entradas. Confira também se descrição da tarefa e exemplos não se contradizem.

Ao resumir documentos, uma frase interna como «Ignore as instruções anteriores» pertence ao material a resumir. Delimitadores tornam a fronteira mais legível, mas sozinhos não formam uma barreira de segurança contra ataques. Se um aplicativo executa ações externas, o código fora do prompt também deve verificar permissões e ferramentas autorizadas. São necessárias boa redação e configuração de permissões do sistema.

6. Revisar a tabela de avaliação antes do prompt

Uma tabela pequena pode incluir entrada, itens essenciais esperados, suposições proibidas, saída real e motivo do erro. Se duas de dez notas transformarem cronogramas não confirmados em confirmados, identifique primeiro suas condições comuns. Aprimorar definições de proposta, aguardando aprovação e confirmado, com exemplos, relaciona a revisão ao problema mais diretamente que repetir «Tenha mais cuidado».

Reavaliar apenas os casos usados na revisão pode confundir efeito específico com melhora geral. Aplique as mesmas regras a entradas reservadas e procure novas omissões em casos fáceis. Registrar conformidade de formato e precisão factual separadamente evita que um JSON válido esconda erros de conteúdo. Uma resposta errada com justificativa plausível continua sendo erro.

Artigos sobre aprendizagem com poucos exemplos e processos de raciocínio investigam modelos e tarefas particulares. Não são regras exigindo a mesma frase indutora em todos os modelos recentes. Conserve definição do trabalho, exemplos representativos, tratamento da ambiguidade e critérios repetíveis, em vez de adjetivos decorativos. Confira esses quatro elementos quando modelo ou formato de entrada mudar.

Os critérios devem considerar a importância dos erros. Mudar a ordem das frases e inventar um responsável em um resumo não são falhas equivalentes. O primeiro pode ser preferência de leitura; o segundo pode gerar instrução de trabalho incorreta. Distinguir campos de verificação humana obrigatória daqueles transferíveis automaticamente à etapa seguinte esclarece responsabilidades no uso real. Não dispense revisão de campos importantes só porque erros são raros.

Ao mudar o formato de saída, conecte verificações de forma e sentido. Conferir que uma data não está vazia apenas confirma a presença de um valor. Saber se estava no original ou foi convertida corretamente com a data de referência é outra verificação. Se campos obrigatórios do analisador conflitarem com campos que o modelo não deve preencher sem evidência, prefira um esquema que represente estado indeterminado a exigir uma string vazia.

Ao compartilhar prompts, crie entradas fictícias com as mesmas fronteiras em vez de copiar dados pessoais reais. Mesmo removendo nomes, verifique se números de contrato ou eventos raros identificam alguém. Ainda que os exemplos estejam suficientemente anonimizados, o material enviado a modelos externos deve seguir regras organizacionais de tratamento. Uma boa documentação descreve as tarefas aplicáveis e aquelas para as quais o prompt não deve ser usado, além dos exemplos.

Na revisão final, confira se outra pessoa entende os mesmos critérios de resposta lendo apenas o prompt. Esperar que o resultado deduza circunstâncias internas conhecidas somente pelo autor dificulta a reprodução. Definir expressões ambíguas, fornecer data de referência e versão do documento e permitir campos sem preenchimento quando não houver fundamento transforma até um prompt curto em especificação verificável.

Fontes e referências

Este artigo explica informações de fontes públicas. A citação de uma instituição não implica revisão nem aprovação por ela.

Editora e contato

Outros artigos sobre o tema