Prompt injection σε knowledge assistant: σχεδίασε άμυνα πριν συνδέσεις εργαλεία

Ένα knowledge assistant μπορεί να συναντήσει μέσα στα δεδομένα του οδηγίες που προσπαθούν να αλλάξουν τη συμπεριφορά του. Η άμυνα δεν είναι ένα καλύτερο system prompt· είναι αρχιτεκτονική που θεωρεί κάθε ανακτημένο περιεχόμενο μη έμπιστο.

Ξεχώρισε δεδομένα από εντολές

Σημείωσε τεχνικά ότι το retrieved content είναι υλικό προς ανάλυση και όχι οδηγία. Μην το συγχωνεύεις αδιακρίτως με τα μηνύματα ελέγχου.

Περιόρισε εργαλεία και δικαιώματα

Δώσε στον assistant μόνο τις ενέργειες που απαιτεί κάθε task. Η ανάγνωση γνώσης δεν χρειάζεται από μόνη της αποστολή email ή αλλαγή αρχείων.

Επικύρωσε κάθε κρίσιμη ενέργεια

Χρησιμοποίησε allowlists, schema validation και ανθρώπινη έγκριση πριν από εξωτερικό side effect. Η πρόθεση του μοντέλου δεν αποτελεί εξουσιοδότηση.

Δοκίμασε επιθετικά παραδείγματα

Βάλε κρυφές οδηγίες σε PDF, webpages, comments και metadata. Έλεγξε αν το σύστημα αποκαλύπτει μυστικά, παρακάμπτει όρια ή ακολουθεί ξένο στόχο.

Κατέγραψε και αναθεώρησε

Φύλαξε ασφαλή logs των πηγών, αποφάσεων και tool calls. Τα πραγματικά attempts πρέπει να ενημερώνουν φίλτρα, policies και evaluation suite.

Το πλαίσιο αποτελεί πρωτότυπη συντακτική μεθοδολογία του DigitalNow.