EL
ΣύνδεσηΞεκινήστε τώρα
Γλωσσάριο

Token Smuggling

Τι είναι Token Smuggling;

Το token smuggling είναι μια μορφή jailbreaking στην οποία ανεπιθύμητες οδηγίες συγκαλύπτονται, για παράδειγμα χωρίζονται σε θραύσματα, κωδικοποιούνται ξανά ή γράφονται με παρόμοιους χαρακτήρες, έτσι ώστε τα απλά φίλτρα λέξεων-κλειδιών να τις χάνουν, ενώ το γλωσσικό μοντέλο εξακολουθεί να κατανοεί το νόημά τους. Η προστασία περιλαμβάνει την κανονικοποίηση των εισόδων πριν αξιολογηθούν, ελέγχους βάσει περιεχομένου και όχι αποκλειστικά βάσει λέξεων, την επισκόπηση των εξόδων και τη χορήγηση όσο το δυνατόν λιγότερων αδειών στους πράκτορες ΤΝ.

Πώς βοηθά το KI.ordo

Το πρότυπο «Τείχος προστασίας ΤΝ: έλεγχος εισόδου» του KI.ordo αξιολογεί ύποπτες εισόδους ως προς το περιεχόμενό τους προτού φτάσουν σε έναν πράκτορα και τις αποκλείει, εφόσον χρειάζεται.

Μάθετε περισσότερα : Token Smuggling

Σχετικά πρότυπα

Θέματα

  • Ασφάλεια
  • Jailbreaking
  • LLM

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης
← Όλοι οι όροι

Σχετικοί όροι

Jailbreaking

Το jailbreaking αναφέρεται σε απόπειρες παράκαμψης των κανόνων ασφαλείας ενός μοντέλου ΤΝ μέσω έξυπνα διατυπωμένων εισόδων, ώστε να παράγει περιεχόμενο ή να προβαίνει σε ενέργειες που υποτίθεται ότι αρνείται. Για τους οργανισμούς αυτό αποτελεί κίνδυνο, επειδή ένα chatbot θα μπορούσε, για παράδειγμα, να αποκαλύψει εμπιστευτικές οδηγίες ή να απαντήσει ανάρμοστα. Μέτρα προστασίας είναι σαφείς οδηγίες συστήματος, έλεγχος εισόδων και εξόδων, περιορισμένα δικαιώματα, καταγραφή και τακτικές δοκιμές ασφάλειας (red teaming).

  • Ασφάλεια
  • πρόληψη κατάχρησης
  • +1
Πρότυπο

Τείχος προστασίας ΤΝ

Ένα τείχος προστασίας ΤΝ είναι ένα προστατευτικό επίπεδο μεταξύ χρηστών, πηγών δεδομένων και ενός μοντέλου ΤΝ. Ελέγχει τις εισόδους για απόπειρες χειραγώγησης, όπως prompt injection ή jailbreaks, και ελέγχει τις εξόδους, για παράδειγμα για εμπιστευτικά δεδομένα ή ανεπιθύμητο περιεχόμενο, πριν τις προωθήσει. Μπορεί να χρησιμοποιεί κανόνες, μοντέλα ταξινόμησης ή ένα δεύτερο γλωσσικό μοντέλο. Ένα τείχος προστασίας ΤΝ μειώνει τον κίνδυνο αλλά δεν προσφέρει πλήρη προστασία και δεν αντικαθιστά ούτε τα περιορισμένα δικαιώματα ούτε τις δοκιμές.

  • Ασφάλεια
  • prompt injection
  • +1
Πρότυπο

ασφάλεια LLM

Η ασφάλεια LLM καλύπτει όλα τα μέτρα που προστατεύουν εφαρμογές βασισμένες σε μεγάλα γλωσσικά μοντέλα από κατάχρηση, διαρροή δεδομένων και ανεπιθύμητη συμπεριφορά. Τυπικοί κίνδυνοι περιλαμβάνουν prompt injection, αποκάλυψη εμπιστευτικών οδηγιών ή δεδομένων και πράκτορες με υπερβολικά δικαιώματα. Η προστασία προέρχεται από πολλαπλά επίπεδα: σαφείς οδηγίες, περιορισμένα δικαιώματα, έλεγχοι εισόδων και εξόδων, τείχη προστασίας ΤΝ, red teaming και τακτικοί έλεγχοι.

  • ασφάλεια
  • γλωσσικά μοντέλα
  • +1
Πρότυπο

Έμμεση prompt injection

Στην έμμεση prompt injection, οι χειριστικές οδηγίες δεν βρίσκονται στην είσοδο του χρήστη αλλά κρύβονται σε περιεχόμενο που επεξεργάζεται ένα σύστημα ΤΝ στην πορεία, όπως ιστοσελίδες, email ή έγγραφα. Όταν ένας πράκτορας διαβάζει τέτοιο περιεχόμενο, μπορεί να εκλάβει κρυφές εντολές ως γνήσιες εργασίες και, για παράδειγμα, να αποκαλύψει δεδομένα. Τα μέτρα προστασίας περιλαμβάνουν την αντιμετώπιση του εξωτερικού περιεχομένου αυστηρά ως δεδομένων, τον περιορισμό των δικαιωμάτων, τον έλεγχο των εισόδων και την απαίτηση ανθρώπινης έγκρισης για κρίσιμες ενέργειες.

  • Ασφάλεια
  • prompt injection
  • +1
Πρότυπο