Τι είναι Εξαγωγή του system prompt;
Η εξαγωγή του system prompt περιγράφει απόπειρες να κάνουν ένα chatbot ή έναν πράκτορα ΤΝ να αποκαλύψει τις κρυφές οδηγίες συστήματός του. Αν μια τέτοια απόπειρα πετύχει, το αποτέλεσμα ονομάζεται διαρροή prompt: η εξαγωγή είναι η επίθεση, η διαρροή η συνέπεια. Η αποτελεσματική προστασία ξεκινά με το να μην περιλαμβάνονται κωδικοί πρόσβασης, κλειδιά και εμπιστευτικοί κανόνες στις οδηγίες και με την παραδοχή ότι μπορεί να γίνουν δημόσιοι· ο έλεγχος των εισόδων και οι τακτικές δοκιμές προσθέτουν περαιτέρω δικλίδες ασφαλείας.
Πώς βοηθά το KI.ordo
Το πρότυπο «Έλεγχος ασφάλειας chatbot» του KI.ordo ελέγχει τις οδηγίες ενός πράκτορα για κινδύνους όπως η αποκάλυψη οδηγιών συστήματος και παρέχει αβλαβείς ερωτήσεις αυτοελέγχου.
Μάθετε περισσότερα : Εξαγωγή του system prompt