PL
Zaloguj sięZacznij teraz
Słownik pojęć

Manipulacja oknem kontekstu

Czym jest Manipulacja oknem kontekstu?

Manipulacja oknem kontekstu to ataki, które celowo wpływają na tekst przetwarzany przez model językowy w jednym czasie, na przykład przez ukryte polecenia w dokumentach, sfabrykowane wcześniejsze fragmenty rozmowy lub duże ilości wypełniacza, które spychają pierwotne reguły na dalszy plan. Ochronę zapewnia wyraźne oddzielenie zaufanych instrukcji od treści zewnętrznych, limity długości, kontrola danych wejściowych oraz przyznawanie agentom jak najmniejszych uprawnień.

Jak pomaga KI.ordo

Szablon KI.ordo „Zapora AI: sprawdź dane wejściowe” można umieścić przed agentem jako podprzepływ, aby z wyprzedzeniem odfiltrować podejrzane dane wejściowe.

Dowiedz się więcej : Manipulacja oknem kontekstu

Pasujące szablony

Tematy

  • Bezpieczeństwo
  • prompt injection
  • LLM

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo
← Wszystkie pojęcia

Powiązane pojęcia

Pośredni prompt injection

W pośrednim prompt injection manipulacyjne polecenia nie znajdują się w danych wejściowych użytkownika, lecz są ukryte w treściach, które system AI przetwarza przy okazji, takich jak strony internetowe, e-maile czy dokumenty. Gdy agent odczytuje taką treść, może wziąć ukryte polecenia za prawdziwe zadania i na przykład ujawnić dane. Zabezpieczenia to traktowanie treści zewnętrznych wyłącznie jako danych, ograniczanie uprawnień, kontrola danych wejściowych i wymaganie zatwierdzenia przez człowieka dla działań krytycznych.

  • Bezpieczeństwo
  • prompt injection
  • +1
Szablon

Zapora AI (AI firewall)

Zapora AI (AI firewall) to warstwa ochronna między użytkownikami, źródłami danych a modelem AI. Sprawdza dane wejściowe pod kątem prób manipulacji, takich jak prompt injection czy jailbreaki, a wyniki – na przykład pod kątem poufnych danych lub niepożądanych treści – zanim zostaną przekazane dalej. Może korzystać z reguł, modeli klasyfikacyjnych lub drugiego modelu językowego. Zapora AI zmniejsza ryzyko, ale nie zapewnia pełnej ochrony i nie zastępuje ani ograniczonych uprawnień, ani testów.

  • Bezpieczeństwo
  • prompt injection
  • +1
Szablon

Token Smuggling

Token smuggling to forma jailbreakingu, w której niepożądane instrukcje są ukrywane, na przykład dzielone na fragmenty, kodowane na nowo lub zapisywane znakami podobnymi do innych, tak aby proste filtry słów kluczowych ich nie wychwyciły, a model językowy mimo to rozumiał ich sens. Ochrona obejmuje normalizację danych wejściowych przed ich oceną, kontrole oparte na treści, a nie wyłącznie na słowach, przegląd wyników oraz nadawanie agentom AI jak najmniejszych uprawnień.

  • Bezpieczeństwo
  • Jailbreaking
  • +1
Szablon

Jailbreaking

Jailbreaking oznacza próby obejścia zasad bezpieczeństwa modelu AI za pomocą sprytnie sformułowanych poleceń, tak aby wytwarzał treści lub podejmował działania, których powinien odmawiać. Dla organizacji to ryzyko, ponieważ chatbot mógłby na przykład ujawnić poufne instrukcje lub zareagować w niewłaściwy sposób. Środki ochronne to jasne instrukcje systemowe, kontrola danych wejściowych i wyjściowych, ograniczone uprawnienia, rejestrowanie zdarzeń i regularne testy bezpieczeństwa (red teaming).

  • Bezpieczeństwo
  • zapobieganie nadużyciom
  • +1
Szablon