PL
Zaloguj sięZacznij teraz
Słownik pojęć

Token Smuggling

Czym jest Token Smuggling?

Token smuggling to forma jailbreakingu, w której niepożądane instrukcje są ukrywane, na przykład dzielone na fragmenty, kodowane na nowo lub zapisywane znakami podobnymi do innych, tak aby proste filtry słów kluczowych ich nie wychwyciły, a model językowy mimo to rozumiał ich sens. Ochrona obejmuje normalizację danych wejściowych przed ich oceną, kontrole oparte na treści, a nie wyłącznie na słowach, przegląd wyników oraz nadawanie agentom AI jak najmniejszych uprawnień.

Jak pomaga KI.ordo

Szablon KI.ordo „Zapora AI: sprawdź dane wejściowe” każe ocenić podejrzane dane wejściowe pod kątem treści, zanim trafią do agenta, i w razie potrzeby je blokuje.

Dowiedz się więcej : Token Smuggling

Pasujące szablony

Tematy

  • Bezpieczeństwo
  • Jailbreaking
  • LLM

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo
← Wszystkie pojęcia

Powiązane pojęcia

Jailbreaking

Jailbreaking oznacza próby obejścia zasad bezpieczeństwa modelu AI za pomocą sprytnie sformułowanych poleceń, tak aby wytwarzał treści lub podejmował działania, których powinien odmawiać. Dla organizacji to ryzyko, ponieważ chatbot mógłby na przykład ujawnić poufne instrukcje lub zareagować w niewłaściwy sposób. Środki ochronne to jasne instrukcje systemowe, kontrola danych wejściowych i wyjściowych, ograniczone uprawnienia, rejestrowanie zdarzeń i regularne testy bezpieczeństwa (red teaming).

  • Bezpieczeństwo
  • zapobieganie nadużyciom
  • +1
Szablon

Zapora AI (AI firewall)

Zapora AI (AI firewall) to warstwa ochronna między użytkownikami, źródłami danych a modelem AI. Sprawdza dane wejściowe pod kątem prób manipulacji, takich jak prompt injection czy jailbreaki, a wyniki – na przykład pod kątem poufnych danych lub niepożądanych treści – zanim zostaną przekazane dalej. Może korzystać z reguł, modeli klasyfikacyjnych lub drugiego modelu językowego. Zapora AI zmniejsza ryzyko, ale nie zapewnia pełnej ochrony i nie zastępuje ani ograniczonych uprawnień, ani testów.

  • Bezpieczeństwo
  • prompt injection
  • +1
Szablon

Bezpieczeństwo LLM

Bezpieczeństwo LLM obejmuje wszystkie środki chroniące aplikacje zbudowane na dużych modelach językowych przed nadużyciami, wyciekiem danych i niepożądanym zachowaniem. Typowe zagrożenia to prompt injection, ujawnienie poufnych instrukcji lub danych oraz agenci z nadmiernymi uprawnieniami. Ochronę zapewnia kilka warstw: jasne instrukcje, ograniczone prawa, kontrola danych wejściowych i wyjściowych, zapory AI, red teaming i regularne audyty.

  • bezpieczeństwo
  • modele językowe
  • +1
Szablon

Pośredni prompt injection

W pośrednim prompt injection manipulacyjne polecenia nie znajdują się w danych wejściowych użytkownika, lecz są ukryte w treściach, które system AI przetwarza przy okazji, takich jak strony internetowe, e-maile czy dokumenty. Gdy agent odczytuje taką treść, może wziąć ukryte polecenia za prawdziwe zadania i na przykład ujawnić dane. Zabezpieczenia to traktowanie treści zewnętrznych wyłącznie jako danych, ograniczanie uprawnień, kontrola danych wejściowych i wymaganie zatwierdzenia przez człowieka dla działań krytycznych.

  • Bezpieczeństwo
  • prompt injection
  • +1
Szablon