Słownik pojęć

Adversarial machine learning

Czym jest Adversarial machine learning?

Adversarial machine learning (uczenie maszynowe w warunkach ataku) bada, w jaki sposób modele AI można wprowadzić w błąd celowo zmanipulowanymi danymi wejściowymi lub treningowymi – i jak je przed tym chronić. Znane przykłady to ledwo widoczne zmiany obrazu, które odwracają wynik klasyfikacji, lub zatrute dane treningowe. Temat ten staje się istotny dla organizacji, gdy tylko AI wspiera decyzje istotne z punktu widzenia bezpieczeństwa. Środki zaradcze obejmują odporny trening, kontrolę danych wejściowych, monitorowanie i regularne testy bezpieczeństwa.

Tematy

  • Bezpieczeństwo AI
  • Odporność
  • Ochrona przed zagrożeniami

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo
← Wszystkie pojęcia

Powiązane pojęcia

Odporność modeli

Odporność modelu opisuje, jak niezawodnie model AI działa, gdy dane wejściowe są zaszumione, niekompletne, nietypowe lub celowo zmanipulowane. Odporny model nadal zapewnia stabilne wyniki, na przykład w rozpoznawaniu obrazów przy słabym oświetleniu albo gdy model językowy radzi sobie z literówkami. Odporność ocenia się za pomocą testów obciążeniowych, zróżnicowanych danych treningowych i testów odporności na celowe próby oszukania modelu; jest szczególnie ważna w zastosowaniach krytycznych dla bezpieczeństwa.

  • niezawodność
  • jakość modelu
  • +1

Red teaming AI

Red teaming AI to ustrukturyzowane badanie systemu AI z perspektywy potencjalnych atakujących lub nadużyć. Specjaliści w kontrolowany sposób testują, czy chatbot ujawnia poufne polecenia, czy można go nakłonić do niepożądanego zachowania, czy podaje nieprawdziwe fakty lub ujawnia dane. Wnioski służą do ulepszania poleceń, filtrów i uprawnień. Audyt bezpieczeństwa chatbota jest lżejszą formą: ocenia konfigurację i przykładowe rozmowy pod kątem znanych obszarów ryzyka, takich jak OWASP Top 10 dla aplikacji LLM.

  • Bezpieczeństwo AI
  • Testy bezpieczeństwa
  • +1
Szablon

Bezpieczeństwo LLM

Bezpieczeństwo LLM obejmuje wszystkie środki chroniące aplikacje zbudowane na dużych modelach językowych przed nadużyciami, wyciekiem danych i niepożądanym zachowaniem. Typowe zagrożenia to prompt injection, ujawnienie poufnych instrukcji lub danych oraz agenci z nadmiernymi uprawnieniami. Ochronę zapewnia kilka warstw: jasne instrukcje, ograniczone prawa, kontrola danych wejściowych i wyjściowych, zapory AI, red teaming i regularne audyty.

  • bezpieczeństwo
  • modele językowe
  • +1
Szablon

Dane treningowe

Dane treningowe to przykłady, z których model AI uczy się wzorców: duże zbiory tekstów dla modeli językowych, obrazy z etykietami dla modeli obrazowych. Ich jakość, różnorodność i aktualność w dużej mierze decydują o tym, jak niezawodny i sprawiedliwy jest model oraz jak aktualna jest jego wiedza. Dla organizacji ma też znaczenie, czy dostawca wykorzystuje wprowadzane przez klientów dane do dalszego trenowania.

  • Dane
  • Training
  • +1