Γλωσσάριο

Διαρροή δεδομένων (data exfiltration)

Τι είναι Διαρροή δεδομένων (data exfiltration);

Η διαρροή δεδομένων (data exfiltration) είναι η μη εξουσιοδοτημένη μεταφορά δεδομένων εκτός ενός συστήματος. Σε εφαρμογές ΤΝ μπορεί να συμβεί όταν ένα chatbot ή ένας πράκτορας χειραγωγείται με στοχευμένες εισόδους ή προετοιμασμένο περιεχόμενο – για παράδειγμα σε μια ιστοσελίδα που διαβάζει – ώστε να αποκαλύψει ή να προωθήσει εμπιστευτικές πληροφορίες. Η προστασία περιλαμβάνει ελάχιστα δικαιώματα πρόσβασης, ελέγχους εισόδων, περιορισμούς στις εξερχόμενες συνδέσεις και παρακολούθηση των απαντήσεων.

Πώς βοηθά το KI.ordo

Το πρότυπο «τείχος προστασίας ΤΝ» του KI.ordo μπορεί να τοποθετηθεί μπροστά από έναν πράκτορα ως υπο-ροή και συγκρατεί εισόδους που επιχειρούν, για παράδειγμα, να αποσπάσουν οδηγίες συστήματος ή δεδομένα.

Μάθετε περισσότερα : Διαρροή δεδομένων (data exfiltration)

Θέματα

  • Ασφάλεια ΤΝ
  • προστασία δεδομένων
  • prompt injection

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης
← Όλοι οι όροι

Σχετικοί όροι

Τείχος προστασίας ΤΝ

Ένα τείχος προστασίας ΤΝ είναι ένα προστατευτικό επίπεδο μεταξύ χρηστών, πηγών δεδομένων και ενός μοντέλου ΤΝ. Ελέγχει τις εισόδους για απόπειρες χειραγώγησης, όπως prompt injection ή jailbreaks, και ελέγχει τις εξόδους, για παράδειγμα για εμπιστευτικά δεδομένα ή ανεπιθύμητο περιεχόμενο, πριν τις προωθήσει. Μπορεί να χρησιμοποιεί κανόνες, μοντέλα ταξινόμησης ή ένα δεύτερο γλωσσικό μοντέλο. Ένα τείχος προστασίας ΤΝ μειώνει τον κίνδυνο αλλά δεν προσφέρει πλήρη προστασία και δεν αντικαθιστά ούτε τα περιορισμένα δικαιώματα ούτε τις δοκιμές.

  • Ασφάλεια
  • prompt injection
  • +1
Πρότυπο

Έμμεση prompt injection

Στην έμμεση prompt injection, οι χειριστικές οδηγίες δεν βρίσκονται στην είσοδο του χρήστη αλλά κρύβονται σε περιεχόμενο που επεξεργάζεται ένα σύστημα ΤΝ στην πορεία, όπως ιστοσελίδες, email ή έγγραφα. Όταν ένας πράκτορας διαβάζει τέτοιο περιεχόμενο, μπορεί να εκλάβει κρυφές εντολές ως γνήσιες εργασίες και, για παράδειγμα, να αποκαλύψει δεδομένα. Τα μέτρα προστασίας περιλαμβάνουν την αντιμετώπιση του εξωτερικού περιεχομένου αυστηρά ως δεδομένων, τον περιορισμό των δικαιωμάτων, τον έλεγχο των εισόδων και την απαίτηση ανθρώπινης έγκρισης για κρίσιμες ενέργειες.

  • Ασφάλεια
  • prompt injection
  • +1
Πρότυπο

Διαρροή prompt

Η διαρροή prompt (prompt leaking) αναφέρεται στην ακούσια αποκάλυψη των εσωτερικών οδηγιών ενός συστήματος ΤΝ, για παράδειγμα όταν ένα chatbot αποκαλύπτει το system prompt του ως απάντηση σε ένα έξυπνα διατυπωμένο αίτημα. Αυτό γίνεται πρόβλημα αν οι οδηγίες περιέχουν επιχειρησιακή λογική, εσωτερικές πληροφορίες ή ακόμη και διαπιστευτήρια. Η λίστα του OWASP για εφαρμογές LLM κατονομάζει ρητά αυτόν τον κίνδυνο. Η αποτελεσματικότερη προφύλαξη είναι να γράφετε τις οδηγίες σαν να μπορούσαν να γίνουν δημόσιες, να μην αποθηκεύετε ποτέ μυστικά σε αυτές και να ελέγχετε και τα αποτελέσματα.

  • Ασφάλεια ΤΝ
  • system prompt
  • +1
Πρότυπο

ασφάλεια LLM

Η ασφάλεια LLM καλύπτει όλα τα μέτρα που προστατεύουν εφαρμογές βασισμένες σε μεγάλα γλωσσικά μοντέλα από κατάχρηση, διαρροή δεδομένων και ανεπιθύμητη συμπεριφορά. Τυπικοί κίνδυνοι περιλαμβάνουν prompt injection, αποκάλυψη εμπιστευτικών οδηγιών ή δεδομένων και πράκτορες με υπερβολικά δικαιώματα. Η προστασία προέρχεται από πολλαπλά επίπεδα: σαφείς οδηγίες, περιορισμένα δικαιώματα, έλεγχοι εισόδων και εξόδων, τείχη προστασίας ΤΝ, red teaming και τακτικοί έλεγχοι.

  • ασφάλεια
  • γλωσσικά μοντέλα
  • +1
Πρότυπο