Czym jest Ekstrakcja promptu systemowego?
Ekstrakcja promptu systemowego oznacza próby nakłonienia chatbota lub agenta AI do ujawnienia ukrytych instrukcji systemowych. Jeśli taka próba się powiedzie, jej skutek nazywa się wyciekiem promptu: ekstrakcja jest atakiem, a wyciek – jego konsekwencją. Skuteczna ochrona zaczyna się od niezamieszczania w instrukcjach haseł, kluczy i poufnych reguł oraz od założenia, że mogą one stać się publiczne; dodatkowe zabezpieczenia to kontrola danych wejściowych i regularne testy.
Jak pomaga KI.ordo
Szablon KI.ordo „Audyt bezpieczeństwa chatbota” sprawdza instrukcje agenta pod kątem zagrożeń, takich jak ujawnienie instrukcji systemowych, i dostarcza nieszkodliwe pytania do samodzielnego testu.
Dowiedz się więcej : Ekstrakcja promptu systemowego