Sanyanggae LogoSanyanggae

🤖 ИИ и технологии

Как писать запросы к LLM: требования, примеры и критерии проверки

Определите входные и выходные данные, примеры и критерии оценки, затем сравнивайте результаты в одинаковых условиях.

사냥개 (Sanyanggae)Опубликовано Обновлено 11 мин. чтения

Это перевод корейского оригинала. Корейский оригинал · Проверка перевода: Проверка с помощью ИИ

Поясняющая схема требований, входных данных и примеров, критериев оценки запросов к LLM.
Поясняющая схема Sanyanggae: требования, входные данные и примеры, критерии оценки.

Хороший запрос конкретно описывает работу, которую вы поручаете модели, и условия успеха. Нет гарантии, что добавление особой фразы улучшит качество ответа в несколько раз.

1. Сначала определите вход и выход

Например, при классификации обращений клиентов задайте категории, язык входных данных и порядок работы с неоднозначными случаями. Просьбу «Запиши отдельно решения, ответственных и сроки, а отсутствующие сведения пометь как неопределённые» проверить легче, чем «Хорошо это обобщи». Формат результата и фактическую точность оценивайте отдельно.

2. Какие критерии показывают примеры

Пары из входных данных и желаемого результата могут передать критерии задачи. Помимо простых примеров включайте пограничные случаи и входные данные с недостатком сведений. Проверяйте также, не переносит ли модель имена и числа из примеров в новые данные как факты.

3. Как сравнивать изменения

Сравнивайте версии запросов на одном наборе входных данных и записывайте типы ошибок. Разделение пропусков, выдуманных сведений и нарушений формата помогает найти нужные исправления. Более длинное объяснение после просьбы рассуждать не доказывает большей точности: основания результата требуют отдельной проверки. Фиксируйте изменения модели, настроек и входных данных, сохраняя условия сравнения.

4. Пример структурирования протокола встречи

Пусть вымышленная заметка гласит: «Развёртывание пока планируем на пятницу. Минсу завтра проверит состояние сервера. Для подтверждения расписания ждём согласования Чжиён». Если выдать дату развёртывания как подтверждённый срок, важный смысл изменится, даже если текст стал гладким. Сначала определите задачу как «Записать подтверждённые действия отдельно от предложений», а полями результата сделайте действие, ответственного, срок, статус и основание. Добавьте запрет угадывать отсутствующих в заметке ответственных и даты.

Нужный результат различает Минсу как ответственного за проверку сервера, завтра как её срок и ожидание согласования как статус расписания развёртывания. Без сегодняшней даты во входных данных нет основания превращать «завтра» в календарную дату. Передайте опорную дату в запросе либо потребуйте сохранить относительные даты оригинала. Ответственный за развёртывание не указан и должен остаться неопределённым. Это упражнение в определении критериев результата, а не цитата из реальных документов компании или результатов эксперимента.

Запрос легче проверять, если помимо роли «Ты отличный помощник» в нём указаны границы входных данных и правила преобразования. Например: «Используй только следующие заметки, не превращай предложения в принятые решения и рядом с каждым действием приведи подтверждающее предложение». Цель — позволить человеку проверить соответствие заметок и результата, а не оценивать убедительность объяснения.

5. Отделяйте пограничные случаи от инструкций во внешнем тексте

В задаче классификации представьте предложение, где смешаны вопрос о возврате денег и вопрос о задержке доставки. Если не указать, разрешена одна категория или несколько, проверяющие будут расходиться в правильном ответе. «Подходящей категории нет» и «Недостаточно входных данных» — тоже разные случаи. Отделение понятного смысла, не вписывающегося в классификацию, от нехватки данных для понимания самого смысла проясняет дальнейшую обработку.

Примеры не только передают ответы, но и поясняют эти границы. Вместо множества простых фраз о доставке добавьте предложение с конфликтующими категориями, предложение с опечаткой и приветствие без просьбы. И наоборот, исправления нужны, если чрезмерно длинные примеры скрывают главное правило или их имена собственные проникают в новые данные. Проверяйте, не противоречат ли друг другу описание задачи и примеры.

При пересказе документа фраза внутри него вроде «Игнорируй предыдущие инструкции» сама является частью обрабатываемого материала. Разделители вокруг входных данных помогают увидеть границу, но сами по себе не образуют защитного барьера от атак. Если приложение может выполнять внешние действия, код вне запроса тоже должен проверять права и разрешённые инструменты. Нужны и ясный текст, и настройка системных разрешений.

6. Исправляйте таблицу оценки перед запросом

Небольшая таблица оценки может содержать входные данные, ожидаемые ключевые сведения, запрещённые догадки, фактический результат и причину ошибки. Если в двух из десяти протоколов неподтверждённые сроки превратились в подтверждённые, сначала найдите общие условия этих двух случаев. Уточнение понятий «предложение», «ожидание согласования» и «подтверждено» вместе с примерами связано с проблемой прямее, чем повторение «Будь внимательнее».

Повторная оценка только примеров, использованных для исправления, может выдать подгонку под частные случаи за общее улучшение. Примените те же правила к отложенным данным и проверьте, не возникли ли новые пропуски в простых случаях. Раздельная запись соблюдения формата и точности фактов не даст корректному JSON скрыть содержательные ошибки. Неверный ответ с правдоподобным обоснованием тоже считается ошибкой.

Статьи о few-shot обучении и использовании рассуждений описывают исследования определённых моделей и задач. Это не правило добавлять одну и ту же побуждающую фразу во все современные модели. В окончательном запросе важнее определение работы, характерные примеры, обработка неоднозначности и воспроизводимые критерии оценки, чем украшения. При изменении модели или формы входных данных снова проверьте эти четыре элемента.

Критерии оценки должны учитывать важность ошибок. Переставить предложения в резюме встречи и выдумать несуществующего ответственного — разные сбои. Первое может касаться предпочтений чтения, второе приводит к неправильному поручению. Различайте поля, которые обязательно проверяет человек, и поля, передаваемые автоматически на следующий шаг: так понятнее ответственность при реальном применении результата. Редкость ошибок не оправдывает пропуск проверки важных полей.

Меняя формат вывода, связывайте проверку формы со смыслом. Непустое поле даты доказывает лишь наличие значения. Было ли оно в оригинале или правильно ли вычислено по опорной дате — отдельная проверка. Если обязательные поля парсера конфликтуют с запретом модели заполнять данные без оснований, лучше создать схему с состоянием «не определено», чем требовать пустую строку.

Делясь запросом, можно составить вымышленные входные данные, воспроизводящие те же границы, вместо копирования примеров с реальной персональной информацией. Проверьте, нельзя ли определить человека по номеру договора или редкому событию даже после удаления имени. Даже при достаточном обезличивании допустимый объём материалов, отправляемых внешней модели, должен соответствовать правилам обработки организации. Хорошая документация запроса описывает не только примеры входа, но и задачи, где его можно и нельзя применять.

При заключительной проверке выясните, поймёт ли другой человек те же критерии правильного ответа из одного запроса. Воспроизводимость затрудняется, если результат должен сам угадать внутренние обстоятельства, известные лишь автору. Определив неоднозначные выражения, передав нужную опорную дату и версию документа и предусмотрев возможность не заполнять неподтверждённые сведения, даже короткий запрос можно превратить в проверяемое описание задачи.

Источники и материалы

Статья объясняет сведения из открытых источников. Упоминание организации не означает её проверки или одобрения.

Об издателе и контакты

Другие статьи по теме