Dobry prompt konkretnie opisuje zadanie modelu i warunki powodzenia. Dodanie określonego zwrotu nie gwarantuje wielokrotnej poprawy jakości odpowiedzi.
1. Najpierw zdefiniuj wejście i wyjście
Przy klasyfikowaniu pytań klientów określ na przykład kategorie, język wejściowy i obsługę niejednoznaczności. „Zapisz oddzielnie decyzje, osoby odpowiedzialne i terminy, a brakujące informacje oznacz jako nieustalone” łatwiej sprawdzić niż „Dobrze podsumuj”. Format i poprawność faktów oceniaj osobno.
2. Kryteria pokazywane przez przykłady
Przykłady łączące wejście z oczekiwanym wynikiem przekazują kryteria zadania. Uwzględnij przypadki graniczne i niepełne dane, nie tylko łatwe przykłady. Sprawdź też, czy nazwy i liczby z przykładów nie pojawiają się jako fakty dotyczące nowych danych.
3. Porównywanie zmian
Porównuj wersje promptu na tym samym zbiorze wejść i zapisuj typy błędów. Rozdzielenie pominięć, zmyślonych informacji i błędów formatu ułatwia poprawki. Dłuższe wyjaśnienie wywołane zachętą do rozumowania nie dowodzi większej poprawności; podstawę wyniku trzeba sprawdzić osobno. Zapisuj też zmiany modelu, ustawień i danych, aby zachować porównywalne warunki.
4. Przykład porządkowania notatek ze spotkania
Wyobraź sobie fikcyjną notatkę: „Rozważamy piątek jako termin wdrożenia. Minsu sprawdzi stan serwera jutro. Potwierdzenie harmonogramu czeka na zgodę Jiyeon”. Podanie piątku jako zatwierdzonego terminu zmienia ważne znaczenie, nawet przy płynnej redakcji. Najpierw zdefiniuj zadanie: „Zapisuj zatwierdzone działania oddzielnie od propozycji”, a potem pola: działanie, odpowiedzialny, termin, status i dowód. Zabroń zgadywania osób i dat nieobecnych w notatce.
Oczekiwany wynik wskazuje Minsu jako odpowiedzialnego za kontrolę, jutro jako termin i oczekiwanie na zgodę jako status wdrożenia. Bez dzisiejszej daty na wejściu nie ma podstaw, by zmienić „jutro” w konkretną datę. Podaj datę odniesienia lub zachowaj daty względne. Niewskazany odpowiedzialny za wdrożenie pozostaje nieustalony. To ćwiczenie ustalania kryteriów, a nie cytat z dokumentów firmy czy wyników eksperymentu.
Zamiast samej roli „Jesteś znakomitym asystentem” podaj zakres wejścia i reguły przekształcania. Na przykład: „Używaj tylko poniższych notatek, nie zamieniaj propozycji w zatwierdzone decyzje i przy każdym działaniu podaj zdanie stanowiące podstawę”. Celem jest umożliwienie sprawdzenia zgodności notatek i wyniku, nie tylko ocena przekonującego brzmienia wyjaśnienia.
5. Oddziel przypadki graniczne od instrukcji z tekstu zewnętrznego
Przy klasyfikacji pomyśl o zdaniu łączącym zwrot pieniędzy z opóźnieniem dostawy. Bez ustalenia, czy wolno wybrać jedną kategorię czy kilka, oceniający nie zgodzą się co do poprawnej odpowiedzi. „Brak pasującej kategorii” różni się też od „Niewystarczających danych”. Oddzielenie rozumianego znaczenia niepasującego do tabeli od braku informacji do określenia znaczenia wyjaśnia dalszą obsługę.
Przykłady nie tylko podają odpowiedzi, ale tłumaczą te granice. Zamiast wielu łatwych zdań o dostawie dodaj konflikt kategorii, literówkę i powitanie bez prośby. Popraw zbyt długie przykłady zasłaniające główną regułę lub takie, których nazwy własne trafiają do nowych wejść. Sprawdź również zgodność przykładów z opisem zadania.
W podsumowywanym dokumencie zdanie „Zignoruj poprzednie instrukcje” jest częścią materiału do podsumowania. Ograniczniki ułatwiają odczytanie granicy wejścia, ale same nie tworzą bariery bezpieczeństwa przeciw atakom. Jeśli aplikacja wykonuje działania zewnętrzne, kod poza promptem także musi kontrolować uprawnienia i dozwolone narzędzia. Potrzebne są zarówno dobry tekst, jak i konfiguracja uprawnień systemu.
6. Najpierw popraw tabelę oceny, potem prompt
Mała tabela może zawierać wejście, oczekiwane kluczowe elementy, zakazane domysły, rzeczywisty wynik i przyczynę błędu. Jeśli dwie z dziesięciu notatek zamieniają niezatwierdzone plany w zatwierdzone, najpierw znajdź ich wspólne warunki. Uściślenie propozycji, oczekiwania na zgodę i zatwierdzenia wraz z przykładami wiąże poprawkę z problemem lepiej niż powtarzanie „Uważaj bardziej”.
Ponowna ocena tylko użytych do poprawki przypadków może pomylić szczególny efekt z ogólną poprawą. Zastosuj te same reguły do odłożonych osobno wejść i poszukaj nowych pominięć w łatwych przypadkach. Oddzielny zapis zgodności formatu i poprawności faktów zapobiega ukrywaniu błędów treści przez prawidłowy JSON. Błędna odpowiedź z wiarygodnym uzasadnieniem nadal jest błędem.
Prace o uczeniu na kilku przykładach i wykorzystaniu rozumowania dotyczą określonych modeli i zadań. Nie nakazują używania tego samego zwrotu we wszystkich najnowszych modelach. Zachowaj definicję pracy, reprezentatywne przykłady, obsługę niejednoznaczności i powtarzalną ocenę zamiast ozdobnych przymiotników. Sprawdź ponownie te cztery elementy po zmianie modelu lub formatu danych.
Kryteria powinny uwzględniać wagę błędów. Zmiana kolejności zdań i wymyślenie nieistniejącego odpowiedzialnego nie są takim samym niepowodzeniem. Pierwsze może dotyczyć preferencji czytania, drugie prowadzi do błędnego polecenia pracy. Rozdzielenie pól wymagających kontroli człowieka i możliwych do automatycznego przekazania wyjaśnia odpowiedzialność w praktyce. Rzadkość błędów nie uzasadnia pomijania kontroli ważnych pól.
Zmieniając format wyjścia, połącz kontrolę formy i znaczenia. Niepuste pole daty potwierdza tylko istnienie wartości. To, czy data była w źródle lub została poprawnie przeliczona według daty odniesienia, wymaga innej kontroli. Jeśli obowiązkowe pola parsera kolidują z polami, których model nie powinien uzupełniać bez dowodów, lepiej zaprojektować schemat reprezentujący stan nieustalony niż wymagać pustego ciągu znaków.
Udostępniając prompt, twórz fikcyjne wejścia odtwarzające te same granice zamiast kopiować rzeczywiste dane osobowe. Sprawdź, czy numery umów lub rzadkie zdarzenia pozwalają zidentyfikować kogoś po usunięciu nazwisk. Nawet wystarczająco zanonimizowane dane wysyłane do modelu zewnętrznego muszą spełniać zasady organizacji. Dobra dokumentacja podaje przykłady oraz zakres zadań dozwolonych i takich, do których nie wolno stosować promptu.
Na koniec sprawdź, czy inna osoba rozumie te same kryteria odpowiedzi z samego promptu. Oczekiwanie odgadnięcia wewnętrznych okoliczności znanych tylko autorowi utrudnia powtarzalność. Definicje niejasnych wyrażeń, data odniesienia, wersja dokumentu i możliwość pozostawienia niepopartych pól pustych zmieniają nawet krótki prompt w sprawdzalną specyfikację zadania.