Τι είναι Διαρροή prompt;
Η διαρροή prompt (prompt leaking) αναφέρεται στην ακούσια αποκάλυψη των εσωτερικών οδηγιών ενός συστήματος ΤΝ, για παράδειγμα όταν ένα chatbot αποκαλύπτει το system prompt του ως απάντηση σε ένα έξυπνα διατυπωμένο αίτημα. Αυτό γίνεται πρόβλημα αν οι οδηγίες περιέχουν επιχειρησιακή λογική, εσωτερικές πληροφορίες ή ακόμη και διαπιστευτήρια. Η λίστα του OWASP για εφαρμογές LLM κατονομάζει ρητά αυτόν τον κίνδυνο. Η αποτελεσματικότερη προφύλαξη είναι να γράφετε τις οδηγίες σαν να μπορούσαν να γίνουν δημόσιες, να μην αποθηκεύετε ποτέ μυστικά σε αυτές και να ελέγχετε και τα αποτελέσματα.
Πώς βοηθά το KI.ordo
Το πρότυπο «Έλεγχος ασφάλειας chatbot» του KI.ordo βοηθά στον έλεγχο των οδηγιών πράκτορα για αυτόν τον κίνδυνο· κωδικοί πρόσβασης και άλλα μυστικά δεν πρέπει ποτέ να τοποθετούνται σε αυτές.
Μάθετε περισσότερα : Διαρροή prompt