EL
ΣύνδεσηΞεκινήστε τώρα
Γλωσσάριο

Jailbreaking

Τι είναι Jailbreaking;

Το jailbreaking αναφέρεται σε απόπειρες παράκαμψης των κανόνων ασφαλείας ενός μοντέλου ΤΝ μέσω έξυπνα διατυπωμένων εισόδων, ώστε να παράγει περιεχόμενο ή να προβαίνει σε ενέργειες που υποτίθεται ότι αρνείται. Για τους οργανισμούς αυτό αποτελεί κίνδυνο, επειδή ένα chatbot θα μπορούσε, για παράδειγμα, να αποκαλύψει εμπιστευτικές οδηγίες ή να απαντήσει ανάρμοστα. Μέτρα προστασίας είναι σαφείς οδηγίες συστήματος, έλεγχος εισόδων και εξόδων, περιορισμένα δικαιώματα, καταγραφή και τακτικές δοκιμές ασφάλειας (red teaming).

Πώς βοηθά το KI.ordo

Τα έτοιμα πρότυπα του KI.ordo για ένα τείχος προστασίας ΤΝ και για έλεγχο ασφάλειας chatbot βοηθούν στον εντοπισμό ύποπτων εισόδων και στον έλεγχο των οδηγιών των δικών σας πρακτόρων για αδυναμίες.

Μάθετε περισσότερα : Jailbreaking

Σχετικά πρότυπα

Θέματα

  • Ασφάλεια
  • πρόληψη κατάχρησης
  • LLM

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης
← Όλοι οι όροι

Σχετικοί όροι

Έμμεση prompt injection

Στην έμμεση prompt injection, οι χειριστικές οδηγίες δεν βρίσκονται στην είσοδο του χρήστη αλλά κρύβονται σε περιεχόμενο που επεξεργάζεται ένα σύστημα ΤΝ στην πορεία, όπως ιστοσελίδες, email ή έγγραφα. Όταν ένας πράκτορας διαβάζει τέτοιο περιεχόμενο, μπορεί να εκλάβει κρυφές εντολές ως γνήσιες εργασίες και, για παράδειγμα, να αποκαλύψει δεδομένα. Τα μέτρα προστασίας περιλαμβάνουν την αντιμετώπιση του εξωτερικού περιεχομένου αυστηρά ως δεδομένων, τον περιορισμό των δικαιωμάτων, τον έλεγχο των εισόδων και την απαίτηση ανθρώπινης έγκρισης για κρίσιμες ενέργειες.

  • Ασφάλεια
  • prompt injection
  • +1
Πρότυπο

Τείχος προστασίας ΤΝ

Ένα τείχος προστασίας ΤΝ είναι ένα προστατευτικό επίπεδο μεταξύ χρηστών, πηγών δεδομένων και ενός μοντέλου ΤΝ. Ελέγχει τις εισόδους για απόπειρες χειραγώγησης, όπως prompt injection ή jailbreaks, και ελέγχει τις εξόδους, για παράδειγμα για εμπιστευτικά δεδομένα ή ανεπιθύμητο περιεχόμενο, πριν τις προωθήσει. Μπορεί να χρησιμοποιεί κανόνες, μοντέλα ταξινόμησης ή ένα δεύτερο γλωσσικό μοντέλο. Ένα τείχος προστασίας ΤΝ μειώνει τον κίνδυνο αλλά δεν προσφέρει πλήρη προστασία και δεν αντικαθιστά ούτε τα περιορισμένα δικαιώματα ούτε τις δοκιμές.

  • Ασφάλεια
  • prompt injection
  • +1
Πρότυπο

Red teaming ΤΝ

Το red teaming ΤΝ είναι η δομημένη εξέταση ενός συστήματος ΤΝ από την οπτική πιθανών επιτιθέμενων ή κατάχρησης. Ειδικοί ελέγχουν με ελεγχόμενο τρόπο αν ένα chatbot αποκαλύπτει εμπιστευτικές οδηγίες, μπορεί να οδηγηθεί σε ανεπιθύμητη συμπεριφορά, παρέχει ψευδή στοιχεία ή εκθέτει δεδομένα. Τα ευρήματα αξιοποιούνται για καλύτερες οδηγίες, φίλτρα και δικαιώματα. Ο έλεγχος ασφαλείας chatbot είναι μια ελαφρύτερη μορφή: αξιολογεί τη διαμόρφωση και δείγματα συνομιλιών με βάση γνωστούς τομείς κινδύνου, όπως το OWASP Top 10 για εφαρμογές LLM.

  • Ασφάλεια ΤΝ
  • Δοκιμές ασφαλείας
  • +1
Πρότυπο

Εξαγωγή του system prompt

Η εξαγωγή του system prompt περιγράφει απόπειρες να κάνουν ένα chatbot ή έναν πράκτορα ΤΝ να αποκαλύψει τις κρυφές οδηγίες συστήματός του. Αν μια τέτοια απόπειρα πετύχει, το αποτέλεσμα ονομάζεται διαρροή prompt: η εξαγωγή είναι η επίθεση, η διαρροή η συνέπεια. Η αποτελεσματική προστασία ξεκινά με το να μην περιλαμβάνονται κωδικοί πρόσβασης, κλειδιά και εμπιστευτικοί κανόνες στις οδηγίες και με την παραδοχή ότι μπορεί να γίνουν δημόσιοι· ο έλεγχος των εισόδων και οι τακτικές δοκιμές προσθέτουν περαιτέρω δικλίδες ασφαλείας.

  • Ασφάλεια
  • Διαρροή prompt
  • +1
Πρότυπο