PL
Zaloguj sięZacznij teraz
Słownik pojęć

Jailbreaking

Czym jest Jailbreaking?

Jailbreaking oznacza próby obejścia zasad bezpieczeństwa modelu AI za pomocą sprytnie sformułowanych poleceń, tak aby wytwarzał treści lub podejmował działania, których powinien odmawiać. Dla organizacji to ryzyko, ponieważ chatbot mógłby na przykład ujawnić poufne instrukcje lub zareagować w niewłaściwy sposób. Środki ochronne to jasne instrukcje systemowe, kontrola danych wejściowych i wyjściowych, ograniczone uprawnienia, rejestrowanie zdarzeń i regularne testy bezpieczeństwa (red teaming).

Jak pomaga KI.ordo

Gotowe szablony KI.ordo, czyli zapora AI i audyt bezpieczeństwa chatbota, pomagają wychwytywać podejrzane dane wejściowe i sprawdzać instrukcje własnych agentów pod kątem słabych punktów.

Dowiedz się więcej : Jailbreaking

Pasujące szablony

Tematy

  • Bezpieczeństwo
  • zapobieganie nadużyciom
  • LLM

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo
← Wszystkie pojęcia

Powiązane pojęcia

Pośredni prompt injection

W pośrednim prompt injection manipulacyjne polecenia nie znajdują się w danych wejściowych użytkownika, lecz są ukryte w treściach, które system AI przetwarza przy okazji, takich jak strony internetowe, e-maile czy dokumenty. Gdy agent odczytuje taką treść, może wziąć ukryte polecenia za prawdziwe zadania i na przykład ujawnić dane. Zabezpieczenia to traktowanie treści zewnętrznych wyłącznie jako danych, ograniczanie uprawnień, kontrola danych wejściowych i wymaganie zatwierdzenia przez człowieka dla działań krytycznych.

  • Bezpieczeństwo
  • prompt injection
  • +1
Szablon

Zapora AI (AI firewall)

Zapora AI (AI firewall) to warstwa ochronna między użytkownikami, źródłami danych a modelem AI. Sprawdza dane wejściowe pod kątem prób manipulacji, takich jak prompt injection czy jailbreaki, a wyniki – na przykład pod kątem poufnych danych lub niepożądanych treści – zanim zostaną przekazane dalej. Może korzystać z reguł, modeli klasyfikacyjnych lub drugiego modelu językowego. Zapora AI zmniejsza ryzyko, ale nie zapewnia pełnej ochrony i nie zastępuje ani ograniczonych uprawnień, ani testów.

  • Bezpieczeństwo
  • prompt injection
  • +1
Szablon

Red teaming AI

Red teaming AI to ustrukturyzowane badanie systemu AI z perspektywy potencjalnych atakujących lub nadużyć. Specjaliści w kontrolowany sposób testują, czy chatbot ujawnia poufne polecenia, czy można go nakłonić do niepożądanego zachowania, czy podaje nieprawdziwe fakty lub ujawnia dane. Wnioski służą do ulepszania poleceń, filtrów i uprawnień. Audyt bezpieczeństwa chatbota jest lżejszą formą: ocenia konfigurację i przykładowe rozmowy pod kątem znanych obszarów ryzyka, takich jak OWASP Top 10 dla aplikacji LLM.

  • Bezpieczeństwo AI
  • Testy bezpieczeństwa
  • +1
Szablon

Ekstrakcja promptu systemowego

Ekstrakcja promptu systemowego oznacza próby nakłonienia chatbota lub agenta AI do ujawnienia ukrytych instrukcji systemowych. Jeśli taka próba się powiedzie, jej skutek nazywa się wyciekiem promptu: ekstrakcja jest atakiem, a wyciek – jego konsekwencją. Skuteczna ochrona zaczyna się od niezamieszczania w instrukcjach haseł, kluczy i poufnych reguł oraz od założenia, że mogą one stać się publiczne; dodatkowe zabezpieczenia to kontrola danych wejściowych i regularne testy.

  • Bezpieczeństwo
  • Wyciek promptu
  • +1
Szablon