EL
ΣύνδεσηΞεκινήστε τώρα
Γλωσσάριο

Χειραγώγηση του παραθύρου πλαισίου (context window)

Τι είναι Χειραγώγηση του παραθύρου πλαισίου (context window);

Η χειραγώγηση του παραθύρου πλαισίου (context window) αναφέρεται σε επιθέσεις που επηρεάζουν σκόπιμα το κείμενο που επεξεργάζεται ένα γλωσσικό μοντέλο κάθε φορά, για παράδειγμα μέσω κρυφών οδηγιών σε έγγραφα, κατασκευασμένων προηγούμενων τμημάτων μιας συνομιλίας ή μεγάλων ποσοτήτων παραγεμίσματος που οδηγούν τους αρχικούς κανόνες σε δεύτερο πλάνο. Η προστασία προέρχεται από τον σαφή διαχωρισμό αξιόπιστων οδηγιών από εξωτερικό περιεχόμενο, τα όρια μήκους, τους ελέγχους εισόδων και την παροχή όσο το δυνατόν λιγότερων δικαιωμάτων στους πράκτορες.

Πώς βοηθά το KI.ordo

Το πρότυπο του KI.ordo «Τείχος προστασίας ΤΝ: έλεγχος εισόδου» μπορεί να τοποθετηθεί μπροστά από έναν πράκτορα ως υπο-ροή, ώστε να φιλτράρει εκ των προτέρων ύποπτες εισόδους.

Μάθετε περισσότερα : Χειραγώγηση του παραθύρου πλαισίου (context window)

Σχετικά πρότυπα

Θέματα

  • Ασφάλεια
  • prompt injection
  • LLM

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης
← Όλοι οι όροι

Σχετικοί όροι

Έμμεση prompt injection

Στην έμμεση prompt injection, οι χειριστικές οδηγίες δεν βρίσκονται στην είσοδο του χρήστη αλλά κρύβονται σε περιεχόμενο που επεξεργάζεται ένα σύστημα ΤΝ στην πορεία, όπως ιστοσελίδες, email ή έγγραφα. Όταν ένας πράκτορας διαβάζει τέτοιο περιεχόμενο, μπορεί να εκλάβει κρυφές εντολές ως γνήσιες εργασίες και, για παράδειγμα, να αποκαλύψει δεδομένα. Τα μέτρα προστασίας περιλαμβάνουν την αντιμετώπιση του εξωτερικού περιεχομένου αυστηρά ως δεδομένων, τον περιορισμό των δικαιωμάτων, τον έλεγχο των εισόδων και την απαίτηση ανθρώπινης έγκρισης για κρίσιμες ενέργειες.

  • Ασφάλεια
  • prompt injection
  • +1
Πρότυπο

Τείχος προστασίας ΤΝ

Ένα τείχος προστασίας ΤΝ είναι ένα προστατευτικό επίπεδο μεταξύ χρηστών, πηγών δεδομένων και ενός μοντέλου ΤΝ. Ελέγχει τις εισόδους για απόπειρες χειραγώγησης, όπως prompt injection ή jailbreaks, και ελέγχει τις εξόδους, για παράδειγμα για εμπιστευτικά δεδομένα ή ανεπιθύμητο περιεχόμενο, πριν τις προωθήσει. Μπορεί να χρησιμοποιεί κανόνες, μοντέλα ταξινόμησης ή ένα δεύτερο γλωσσικό μοντέλο. Ένα τείχος προστασίας ΤΝ μειώνει τον κίνδυνο αλλά δεν προσφέρει πλήρη προστασία και δεν αντικαθιστά ούτε τα περιορισμένα δικαιώματα ούτε τις δοκιμές.

  • Ασφάλεια
  • prompt injection
  • +1
Πρότυπο

Token Smuggling

Το token smuggling είναι μια μορφή jailbreaking στην οποία ανεπιθύμητες οδηγίες συγκαλύπτονται, για παράδειγμα χωρίζονται σε θραύσματα, κωδικοποιούνται ξανά ή γράφονται με παρόμοιους χαρακτήρες, έτσι ώστε τα απλά φίλτρα λέξεων-κλειδιών να τις χάνουν, ενώ το γλωσσικό μοντέλο εξακολουθεί να κατανοεί το νόημά τους. Η προστασία περιλαμβάνει την κανονικοποίηση των εισόδων πριν αξιολογηθούν, ελέγχους βάσει περιεχομένου και όχι αποκλειστικά βάσει λέξεων, την επισκόπηση των εξόδων και τη χορήγηση όσο το δυνατόν λιγότερων αδειών στους πράκτορες ΤΝ.

  • Ασφάλεια
  • Jailbreaking
  • +1
Πρότυπο

Jailbreaking

Το jailbreaking αναφέρεται σε απόπειρες παράκαμψης των κανόνων ασφαλείας ενός μοντέλου ΤΝ μέσω έξυπνα διατυπωμένων εισόδων, ώστε να παράγει περιεχόμενο ή να προβαίνει σε ενέργειες που υποτίθεται ότι αρνείται. Για τους οργανισμούς αυτό αποτελεί κίνδυνο, επειδή ένα chatbot θα μπορούσε, για παράδειγμα, να αποκαλύψει εμπιστευτικές οδηγίες ή να απαντήσει ανάρμοστα. Μέτρα προστασίας είναι σαφείς οδηγίες συστήματος, έλεγχος εισόδων και εξόδων, περιορισμένα δικαιώματα, καταγραφή και τακτικές δοκιμές ασφάλειας (red teaming).

  • Ασφάλεια
  • πρόληψη κατάχρησης
  • +1
Πρότυπο