Τα prompts συχνά αλλάζουν μέσα από μικρές διορθώσεις: μια νέα οδηγία, ένα επιπλέον παράδειγμα, διαφορετική σειρά ή άλλο μοντέλο. Χωρίς changelog, η ομάδα μπορεί να παρατηρεί καλύτερο αποτέλεσμα χωρίς να γνωρίζει ποια αλλαγή το προκάλεσε ή πώς να επιστρέψει όταν εμφανιστεί νέα αστοχία.
Δώσε έκδοση σε ολόκληρη τη ρύθμιση
Μην καταγράφεις μόνο το κείμενο του prompt. Η συμπεριφορά επηρεάζεται από system instructions, παραδείγματα, εργαλεία, μοντέλο, ρυθμίσεις και πηγή γνώσης. Δώσε σε κάθε release ένα αναγνωριστικό και αποθήκευσε τα μέρη που χρειάζονται για αναπαραγωγή.
Γράψε τον λόγο πριν από την αλλαγή
Σημείωσε το πρόβλημα που παρατηρήθηκε, πραγματικά παραδείγματα και την υπόθεση για το πώς θα βοηθήσει η αλλαγή. Το «βελτίωση ποιότητας» είναι πολύ γενικό. Το «να ζητά διευκρίνιση όταν λείπει αριθμός παραγγελίας αντί να δημιουργεί υπόθεση» μπορεί να ελεγχθεί.
Τρέξε σταθερό evaluation set
Σύγκρινε παλιά και νέα έκδοση στις ίδιες περιπτώσεις. Κατέγραψε βελτιώσεις, παλινδρομήσεις, χρόνο, κόστος και ανάγκη ανθρώπινης διόρθωσης. Μην εγκρίνεις αλλαγή μόνο επειδή διορθώνει το ένα παράδειγμα που οδήγησε στην επεξεργασία.
Χώρισε πείραμα και παραγωγή
Δοκίμασε την αλλαγή σε ασφαλές περιβάλλον ή μικρό ποσοστό χαμηλού ρίσκου. Όρισε ποιος την εγκρίνει, ποιο όριο σταματά την κυκλοφορία και ποια έκδοση επανέρχεται. Κράτησε τη δυνατότητα rollback χωρίς να χρειάζεται να ανακατασκευάσεις την προηγούμενη κατάσταση από μνήμη.
Κατέγραψε τις συνέπειες μετά το release
Παρακολούθησε πραγματικά σφάλματα, overrides και παράπονα. Αν άλλαξε το είδος των εισόδων, η σύγκριση με την προηγούμενη περίοδο πρέπει να το αναφέρει. Ενημέρωσε το changelog με το τι συνέβη, όχι μόνο με το τι περίμενε η ομάδα.
Κράτησε σύντομη μορφή
Μια χρήσιμη εγγραφή έχει έκδοση, ημερομηνία, ιδιοκτήτη, πρόβλημα, αλλαγή, evaluation, έγκριση, αποτέλεσμα και rollback. Η συνέπεια της καταγραφής είναι σημαντικότερη από ένα περίπλοκο εργαλείο.
Η δομή prompt changelog είναι πρωτότυπο λειτουργικό πλαίσιο του DigitalNow.