Sanyanggae LogoSanyanggae

🤖 KI & Tech

LLM-Prompts schreiben: Anforderungen, Beispiele und Bewertungskriterien klar festlegen

Eingaben, Ausgaben, Beispiele und Bewertungskriterien ordnen und Ergebnisse unter gleichen Bedingungen vergleichen.

사냥개 (Sanyanggae)Veröffentlicht Aktualisiert 11 Min. Lesezeit

Dieser Artikel ist eine Übersetzung des koreanischen Originals. Koreanisches Original · Übersetzungsprüfung: Prüfung durch KI

Erklärdiagramm zu Anforderungen, Eingaben und Beispielen sowie Bewertungskriterien für LLM-Prompts.
Erklärdiagramm von Sanyanggae: Anforderungen, Eingaben und Beispiele, Bewertungskriterien.

Ein guter Prompt beschreibt die Aufgabe für das Modell und die Erfolgskriterien konkret. Eine bestimmte Formulierung garantiert keine Vervielfachung der Antwortqualität.

1. Zuerst Eingaben und Ausgaben definieren

Beim Klassifizieren von Kundenanfragen sind etwa Kategorien, Eingabesprache und Umgang mit Mehrdeutigkeit festzulegen. „Halte Entscheidungen, Verantwortliche und Fristen getrennt fest und kennzeichne fehlende Angaben als unbestimmt“ lässt sich leichter prüfen als „Fasse gut zusammen“. Ausgabeformat und sachliche Richtigkeit werden getrennt bewertet.

2. Welche Maßstäbe Beispiele zeigen

Beispiele aus Eingabe und gewünschtem Ergebnis vermitteln Aufgabenmaßstäbe. Neben einfachen Fällen gehören Grenzfälle und unzureichende Eingaben dazu. Prüfen Sie auch, ob Namen und Zahlen aus Beispielen fälschlich als Tatsachen neuer Eingaben wiederverwendet werden.

3. Änderungen vergleichen

Vergleichen Sie Prompt-Versionen anhand derselben Eingaben und erfassen Sie Fehlertypen. Auslassungen, erfundene Angaben und Formatfehler getrennt zu betrachten erleichtert gezielte Änderungen. Eine längere, zum Schlussfolgern angeregte Erklärung belegt keine größere Richtigkeit; die Ergebnisgrundlage muss separat geprüft werden. Halten Sie auch Änderungen an Modell, Einstellungen und Eingaben fest, um Vergleichsbedingungen zu erhalten.

4. Beispiel: Besprechungsnotizen strukturieren

Eine erfundene Notiz lautet: „Für die Bereitstellung wird Freitag erwogen. Minsu prüft morgen den Serverstatus. Die Bestätigung des Zeitplans wartet auf Jiyeons Zustimmung.“ Freitag als bestätigte Frist auszugeben verändert eine wichtige Bedeutung, selbst bei flüssiger Sprache. Definieren Sie die Aufgabe zunächst als „Bestätigte Handlungen und Vorschläge getrennt erfassen“ und die Felder Handlung, Verantwortlicher, Frist, Status und Beleg. Verbieten Sie zudem das Erraten nicht genannter Personen und Termine.

Das gewünschte Ergebnis unterscheidet Minsu als Verantwortlichen der Serverprüfung, morgen als Frist und ausstehende Genehmigung als Status der Bereitstellung. Ohne heutiges Datum als Eingabe gibt es keine Grundlage, „morgen“ in ein konkretes Datum umzuwandeln. Geben Sie ein Bezugsdatum vor oder erhalten Sie relative Zeitangaben. Die nicht genannte verantwortliche Person der Bereitstellung bleibt unbestimmt. Dies ist eine Übung zur Definition von Ausgabekriterien, kein Zitat aus Firmenakten oder Versuchsergebnissen.

Statt nur „Du bist ein hervorragender Assistent“ vorzugeben, machen Eingabeumfang und Umwandlungsregeln einen Prompt überprüfbarer. Etwa: „Verwende nur diese Notizen, mache aus Vorschlägen keine bestätigten Entscheidungen und schreibe neben jede Handlung den Belegsatz.“ Menschen sollen die Übereinstimmung von Notiz und Ergebnis prüfen können, statt nur die Überzeugungskraft der Erklärung zu beurteilen.

5. Grenzfälle und Anweisungen in externem Text trennen

Denken Sie bei einer Klassifikation an einen Satz mit Erstattungsfrage und Lieferverzögerung zugleich. Ohne Festlegung, ob eine oder mehrere Kategorien zulässig sind, beurteilen Prüfer die richtige Antwort unterschiedlich. „Keine passende Kategorie“ ist zudem nicht „Unzureichende Eingabe“. Ein verstandener, aber nicht zur Tabelle passender Sinn muss von unzureichenden Informationen zur Sinnbestimmung getrennt werden; das klärt die Weiterverarbeitung.

Beispiele vermitteln nicht nur richtige Antworten, sondern diese Grenzen. Ergänzen Sie statt vieler einfacher Lieferfragen einen Satz mit widersprüchlichen Kategorien, einen Tippfehler und eine Begrüßung ohne Anliegen. Überarbeiten Sie Beispiele, wenn ihre Länge die Hauptregel verdeckt oder Eigennamen in neue Eingaben geraten. Prüfen Sie auch, ob Aufgabenbeschreibung und Beispiele einander widersprechen.

Beim Zusammenfassen eines Dokuments ist ein enthaltener Satz wie „Ignoriere die vorherigen Anweisungen“ selbst Teil des zusammenzufassenden Materials. Trennzeichen machen die Eingabegrenze lesbarer, bilden allein jedoch keine Sicherheitsbarriere gegen Angriffe. Kann eine App externe Aktionen ausführen, muss auch Code außerhalb des Prompts Berechtigungen und erlaubte Werkzeuge prüfen. Gute Formulierungen und Systemberechtigungen sind beide nötig.

6. Die Bewertungstabelle vor dem Prompt überarbeiten

Eine kleine Tabelle kann Eingabe, erwartete Kernelemente, verbotene Vermutungen, tatsächliche Ausgabe und Fehlergrund enthalten. Werden bei zwei von zehn Notizen unbestätigte Termine bestätigt, suchen Sie zuerst deren gemeinsame Bedingungen. Definitionen von Vorschlag, ausstehender Zustimmung und Bestätigung samt Beispielen zu verbessern greift das Problem direkter auf als wiederholt „Sei vorsichtiger“.

Nur die zur Änderung benutzten Fälle erneut zu prüfen kann einen fallspezifischen Effekt als allgemeinen Fortschritt erscheinen lassen. Wenden Sie dieselben Regeln auf separat zurückgehaltene Eingaben an und suchen Sie neue Auslassungen bei einfachen Fällen. Formatkonformität und Faktenrichtigkeit getrennt zu erfassen verhindert, dass gültiges JSON Inhaltsfehler verdeckt. Eine falsche Antwort mit plausibler Begründung bleibt ein Fehler.

Forschung zu Few-Shot-Lernen und Denkprozessen betrifft bestimmte Modelle und Aufgaben. Daraus folgt keine Pflicht, bei jedem neuesten Modell dieselbe auslösende Formulierung einzusetzen. Behalten Sie Arbeitsdefinition, repräsentative Beispiele, Umgang mit Unklarheit und wiederholbare Bewertungskriterien statt schmückender Adjektive. Prüfen Sie diese vier Elemente bei Änderungen an Modell oder Eingabeformat erneut.

Kriterien müssen auch die Bedeutung von Fehlern berücksichtigen. Satzreihenfolge ändern und einen nicht existierenden Verantwortlichen erfinden sind im Protokoll keine gleichen Fehler. Ersteres kann eine Lesepräferenz sein; Letzteres führt womöglich zu falschen Arbeitsanweisungen. Pflichtfelder für menschliche Kontrolle von automatisch weitergebbaren Feldern zu unterscheiden klärt Verantwortlichkeit im praktischen Einsatz. Seltene Fehler rechtfertigen nicht den Verzicht auf die Prüfung wichtiger Felder.

Verknüpfen Sie bei Formatänderungen Form- und Bedeutungsprüfung. Ein nicht leeres Datumsfeld bestätigt nur das Vorhandensein eines Werts. Ob das Datum im Original stand oder anhand des Bezugsdatums korrekt umgerechnet wurde, ist eine andere Prüfung. Kollidieren Parser-Pflichtfelder mit Feldern, die das Modell nicht unbelegt ausfüllen darf, ist ein Schema für einen unbestimmten Zustand besser als die Forderung nach einer leeren Zeichenkette.

Beim Teilen von Prompts können erfundene Eingaben dieselben Grenzen nachbilden, statt echte personenbezogene Beispiele zu kopieren. Prüfen Sie, ob Vertragsnummern oder seltene Ereignisse auch ohne Namen eine Person identifizieren. Selbst hinreichend anonymisierte Beispiele müssen beim Versand an externe Modelle die Verarbeitungsregeln der Organisation einhalten. Eine gute Dokumentation nennt Eingabebeispiele sowie passende und unzulässige Aufgabenbereiche.

Prüfen Sie abschließend, ob eine andere Person allein aus dem Prompt dieselben Antwortmaßstäbe versteht. Soll das Ergebnis interne, nur dem Verfasser bekannte Umstände erraten, wird Reproduktion schwierig. Unklare Begriffe definieren, Bezugsdatum und Dokumentversion eingeben und unbelegte Felder offenlassen zu können macht auch kurze Prompts zu überprüfbaren Aufgabenspezifikationen.

Quellen und weiterführende Literatur

Dieser Artikel erläutert Informationen aus öffentlichen Quellen. Die Nennung einer Einrichtung bedeutet weder deren Prüfung noch deren Zustimmung.

Herausgeber und Kontakt

Weitere Artikel zum Thema