Γλωσσάριο

Αντιπαραθετική μηχανική μάθηση

Τι είναι Αντιπαραθετική μηχανική μάθηση;

Η αντιπαραθετική μηχανική μάθηση (adversarial machine learning) μελετά πώς τα μοντέλα ΤΝ μπορούν να παραπλανηθούν από σκόπιμα παραποιημένα δεδομένα εισόδου ή εκπαίδευσης – και πώς μπορούν να προστατευθούν. Γνωστά παραδείγματα είναι ελάχιστα ορατές αλλαγές σε εικόνες που ανατρέπουν μια ταξινόμηση ή δηλητηριασμένα δεδομένα εκπαίδευσης. Το θέμα έχει σημασία για τους οργανισμούς μόλις η ΤΝ υποστηρίζει αποφάσεις σχετικές με την ασφάλεια. Τα αντίμετρα περιλαμβάνουν ανθεκτική εκπαίδευση, ελέγχους εισόδου, παρακολούθηση και τακτικές δοκιμές ασφαλείας.

Θέματα

Ασφάλεια ΤΝ
Ανθεκτικότητα
Προστασία από απειλές

Δοκιμάστε το KI.ordo

Πράκτορες, ροές εργασιών και πρότυπα σε έναν χώρο εργασίας – δωρεάν επίδειξη 24 ωρών.

Έναρξη επίδειξης

← Όλοι οι όροι

Σχετικοί όροι

Ανθεκτικότητα μοντέλου

Η ανθεκτικότητα μοντέλου περιγράφει πόσο αξιόπιστα λειτουργεί ένα μοντέλο ΤΝ όταν οι είσοδοι έχουν θόρυβο, είναι ελλιπείς, ασυνήθιστες ή έχουν χειραγωγηθεί σκόπιμα. Ένα ανθεκτικό μοντέλο εξακολουθεί να παράγει σταθερά αποτελέσματα, όπως η αναγνώριση εικόνας σε κακό φωτισμό ή ένα γλωσσικό μοντέλο που χειρίζεται ορθογραφικά λάθη. Η ανθεκτικότητα αξιολογείται με δοκιμές καταπόνησης, ποικίλα δεδομένα εκπαίδευσης και δοκιμές απέναντι σε σκόπιμες απόπειρες παραπλάνησης, και είναι ιδιαίτερα σημαντική σε εφαρμογές κρίσιμες για την ασφάλεια.

αξιοπιστία
ποιότητα μοντέλου
+1

Red teaming ΤΝ

Το red teaming ΤΝ είναι η δομημένη εξέταση ενός συστήματος ΤΝ από την οπτική πιθανών επιτιθέμενων ή κατάχρησης. Ειδικοί ελέγχουν με ελεγχόμενο τρόπο αν ένα chatbot αποκαλύπτει εμπιστευτικές οδηγίες, μπορεί να οδηγηθεί σε ανεπιθύμητη συμπεριφορά, παρέχει ψευδή στοιχεία ή εκθέτει δεδομένα. Τα ευρήματα αξιοποιούνται για καλύτερες οδηγίες, φίλτρα και δικαιώματα. Ο έλεγχος ασφαλείας chatbot είναι μια ελαφρύτερη μορφή: αξιολογεί τη διαμόρφωση και δείγματα συνομιλιών με βάση γνωστούς τομείς κινδύνου, όπως το OWASP Top 10 για εφαρμογές LLM.

Ασφάλεια ΤΝ
Δοκιμές ασφαλείας
+1

Πρότυπο

ασφάλεια LLM

Η ασφάλεια LLM καλύπτει όλα τα μέτρα που προστατεύουν εφαρμογές βασισμένες σε μεγάλα γλωσσικά μοντέλα από κατάχρηση, διαρροή δεδομένων και ανεπιθύμητη συμπεριφορά. Τυπικοί κίνδυνοι περιλαμβάνουν prompt injection, αποκάλυψη εμπιστευτικών οδηγιών ή δεδομένων και πράκτορες με υπερβολικά δικαιώματα. Η προστασία προέρχεται από πολλαπλά επίπεδα: σαφείς οδηγίες, περιορισμένα δικαιώματα, έλεγχοι εισόδων και εξόδων, τείχη προστασίας ΤΝ, red teaming και τακτικοί έλεγχοι.

ασφάλεια
γλωσσικά μοντέλα
+1

Πρότυπο

Δεδομένα εκπαίδευσης

Τα δεδομένα εκπαίδευσης είναι τα παραδείγματα από τα οποία ένα μοντέλο ΤΝ μαθαίνει πρότυπα: μεγάλες συλλογές κειμένων για γλωσσικά μοντέλα, εικόνες με ετικέτες για μοντέλα εικόνας. Η ποιότητα, η ποικιλία και η επικαιρότητά τους καθορίζουν σε μεγάλο βαθμό πόσο αξιόπιστο και δίκαιο είναι ένα μοντέλο και πόσο ενημερωμένες θα είναι οι γνώσεις του. Για τους οργανισμούς έχει επίσης σημασία αν ένας πάροχος χρησιμοποιεί τα δεδομένα πελατών που εισάγουν για περαιτέρω εκπαίδευση.

Δεδομένα
Training
+1