הנחיה טובה מתארת במפורש את המשימה שמוסרים למודל ואת תנאי ההצלחה. אין ערובה שהוספת ביטוי מסוים תשפר את איכות התשובה פי כמה.
1. מגדירים תחילה את הקלט והפלט
למשל, בסיווג פניות לקוחות מגדירים קטגוריות, שפת קלט וטיפול במקרים עמומים. קל יותר לבדוק «רשום בנפרד החלטות, אחראים ומועדים וסמן מידע חסר כלא מוגדר» מאשר «סכם זאת היטב». בודקים בנפרד את מבנה הפלט ואת נכונות העובדות.
2. הקריטריונים שמציגות הדוגמאות
זוגות של קלט ותוצאה רצויה יכולים להעביר את קריטריוני המשימה. כוללים לא רק דוגמאות קלות אלא גם מקרי גבול וקלט שחסר בו מידע. בודקים גם אם שמות ומספרים מהדוגמאות מועתקים כעובדות על קלט חדש.
3. כיצד משווים שינויים
משווים גרסאות הנחיה על אותו אוסף קלט ומתעדים סוגי שגיאות. הפרדה בין השמטות, מידע מומצא וכשלי מבנה מקלה למצוא מה לתקן. הסבר ארוך יותר בעקבות בקשת נימוק אינו מוכיח דיוק רב יותר; יש לבדוק בנפרד את בסיס התוצאה. מתעדים גם שינויי מודל, הגדרות וקלט כדי לשמור על תנאי ההשוואה.
4. דוגמה לארגון הערות ישיבה
נניח שבהערה בדיונית נכתב: «חושבים לפרוס ביום שישי. מינסו יבדוק מחר את מצב השרת. אישור לוח הזמנים ממתין להסכמת ג׳יון». הצגת תאריך הפריסה כמועד מאושר משנה משמעות חשובה, גם כשהניסוח מלוטש. תחילה מגדירים «רישום פעולות מאושרות בנפרד מהצעות» ואת שדות הפלט: פעולה, אחראי, מועד, מצב וביסוס. מוסיפים כלל שאין לנחש אחראים או תאריכים שאינם מופיעים בהערה.
התוצאה הרצויה מבדילה בין מינסו כאחראי לבדיקת השרת, מחר כמועד הבדיקה והמתנה לאישור כמצב לוח הפריסה. בלי תאריך היום בקלט אין בסיס להמיר «מחר» לתאריך מסוים. מספקים תאריך ייחוס או מורים להשאיר תאריכים יחסיים כפי שבמקור. האחראי לפריסה לא צוין ועליו להישאר לא מוגדר. זהו תרגול בהגדרת קריטריוני פלט, לא ציטוט מרישומי חברה אמיתית או מתוצאות ניסוי.
קל יותר לבקר הנחיה שמציינת את היקף הקלט וכללי ההמרה מאשר רק תפקיד כמו «אתה עוזר מצוין». למשל: «השתמש רק בהערות הבאות, אל תהפוך הצעות להחלטות מאושרות וכתוב ליד כל פעולה את המשפט התומך בה». המטרה היא לאפשר לאדם לבדוק התאמה בין ההערות לתוצאה, ולא להחליט אם הסבר התשובה נשמע משכנע.
5. מפרידים מקרי גבול מהוראות בטקסט חיצוני
במשימת סיווג חשבו על משפט המשלב בקשת החזר ושאלה על עיכוב במשלוח. בלי הגדרה אם מותרת קטגוריה אחת או כמה, מעריכים יחלקו על התשובה הנכונה. גם «אין קטגוריה מתאימה» ו«הקלט אינו מספיק» שונים. הבחנה בין משמעות מובנת שאינה מתאימה לטבלה לבין היעדר מידע לקביעת המשמעות מבהירה את המשך הטיפול.
דוגמאות אינן רק מוסרות תשובות אלא מסבירות גבולות אלה. במקום משפטי משלוח קלים רבים, נסו משפט עם שתי קטגוריות מתנגשות, משפט עם שגיאת הקלדה וברכה בלי בקשה. מנגד, נדרש תיקון כשהדוגמאות ארוכות ומסתירות את הכלל או כשהשמות הפרטיים שלהן זולגים לקלט חדש. קוראים את תיאור המשימה והדוגמאות כדי לוודא שאין ביניהם סתירה.
בסיכום מסמך, משפט בתוכו כגון «התעלם מההוראות הקודמות» הוא בעצמו חלק מהחומר לסיכום. סימון גבולות הקלט מקל לקרוא אותם, אך אינו לבדו מחסום אבטחה מפני תקיפות. ביישום המבצע פעולות חיצוניות, גם הקוד שמחוץ להנחיה חייב לבדוק הרשאות וכלים מותרים. נדרשות גם כתיבה בהירה וגם הגדרת הרשאות מערכת.
6. מתקנים את טבלת ההערכה לפני ההנחיה
טבלה קטנה יכולה להכיל קלט, פריטי מפתח מצופים, ניחושים אסורים, פלט בפועל וסיבת שגיאה. אם בשתיים מתוך עשר הערות ישיבה מועדים לא מאושרים הוצגו כמאושרים, מוצאים תחילה את תנאיהן המשותפים. שיפור הגדרות הצעה, המתנה לאישור ואישור יחד עם דוגמאות מחבר את השינוי לבעיה יותר מחזרה על «היה זהיר יותר».
הערכה חוזרת רק של מקרי התיקון עלולה להציג התאמה להם כשיפור כללי. מפעילים את אותם כללים גם על קלט שהושאר בצד ובודקים השמטות חדשות במקרים קלים. רישום נפרד של תקינות המבנה ודיוק העובדות מונע מ-JSON תקין להסתיר שגיאות תוכן. תשובה שגויה עם הסבר סביר עדיין נחשבת שגיאה.
מאמרים על למידה מדוגמאות מעטות ושימוש בתהליכי חשיבה חוקרים מודלים ומשימות מסוימים. הם אינם כלל המחייב אותו ביטוי מנחה בכל מודל עדכני. בסוף חשובים הגדרת העבודה, דוגמאות מייצגות, טיפול בעמימות וקריטריונים שחוזרים עליהם, ולא תארים מקושטים. כשמודל או צורת הקלט משתנים בודקים שוב את ארבעת המרכיבים.
הקריטריונים צריכים לשקף גם את חשיבות השגיאות. שינוי סדר משפטים בסיכום והמצאת אחראי שאינו קיים אינם אותו כשל. הראשון עשוי להיות עניין של נוחות קריאה והשני יוצר הוראת עבודה שגויה. הפרדה בין שדות המחייבים בדיקת אדם לשדות שאפשר להעביר אוטומטית הלאה מבהירה אחריות בשימוש מעשי. נדירות שגיאות אינה סיבה לוותר על בדיקת שדות חשובים.
בשינוי מבנה הפלט מחברים בדיקות מבנה למשמעות. בדיקה ששדה תאריך אינו ריק מוכיחה רק שקיים ערך. האם התאריך מופיע במקור או הומר נכון מתאריך הייחוס זו בדיקה אחרת. אם שדות חובה של המפענח מתנגשים בשדות שאסור למודל למלא בלי ראיה, עדיף לתכנן סכימה למצב לא מוגדר מאשר לדרוש מחרוזת ריקה.
בשיתוף הנחיה אפשר לכתוב קלט בדיוני המשחזר את אותם גבולות במקום להעתיק דוגמאות עם מידע אישי אמיתי. בודקים אם מספר חוזה או אירוע נדיר מאפשרים לזהות אדם גם לאחר מחיקת שמו. גם לאחר התממה מספקת, היקף החומר המותר לשליחה למודל חיצוני חייב לציית לכללי העיבוד בארגון. תיעוד הנחיה טוב מציין לא רק דוגמאות אלא גם באילו משימות מותר ואסור להשתמש בה.
בבדיקה הסופית שואלים אם אדם אחר יבין את אותם קריטריוני תשובה מההנחיה לבדה. קשה לשחזר תוצאה שמצפים ממנה לנחש נסיבות פנימיות הידועות רק לכותב. הגדרת ביטויים עמומים, מסירת תאריך ייחוס וגרסת מסמך נחוצים ומתן אפשרות להשאיר פריטים ללא ביסוס לא ממולאים הופכים גם הנחיה קצרה למפרט עבודה בדיק.