BG
ВходЗапочнете сега
Речник

Jailbreaking

Какво е Jailbreaking?

Джейлбрейкът (jailbreaking) означава опити за заобикаляне на правилата за безопасност на ИИ модел чрез хитро формулирани входни данни, така че той да създава съдържание или да извършва действия, които е предвидено да отказва. За организациите това е риск, защото чатбот може например да разкрие поверителни инструкции или да реагира неподходящо. Защитните мерки включват ясни системни инструкции, проверка на входа и изхода, ограничени права, водене на дневник и редовни тестове за сигурност (red teaming).

Как помага KI.ordo

Готовите шаблони на KI.ordo за ИИ защитна стена и за одит на сигурността на чатбот помагат да се забележат подозрителни входни данни и да се проверят инструкциите на Вашите агенти за слабости.

Научете повече : Jailbreaking

Подходящи шаблони

Теми

  • Сигурност
  • Предотвратяване на злоупотреби
  • LLM

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото
← Всички термини

Свързани термини

Индиректна промпт инжекция

При индиректната промпт инжекция манипулативните инструкции не са във входните данни на потребителя, а са скрити в съдържание, което ИИ системата обработва по пътя – като уеб страници, имейли или документи. Когато агент прочете такова съдържание, може да вземе скритите команди за истински задачи и например да разкрие данни. Предпазните мерки включват третиране на външното съдържание строго като данни, ограничаване на правата, проверка на входните данни и изискване на човешко одобрение за критични действия.

  • Сигурност
  • Промпт инжекция
  • +1
Шаблон

ИИ защитна стена

ИИ защитната стена е защитен слой между потребителите, източниците на данни и ИИ модела. Тя проверява входните данни за опити за манипулация, като промпт инжекция или джейлбрейк, и проверява изходните данни, например за поверителни данни или нежелано съдържание, преди да ги предаде нататък. Може да използва правила, класификационни модели или втори езиков модел. ИИ защитната стена намалява риска, но не предлага пълна защита и не замества нито ограничените права, нито тестването.

  • Сигурност
  • Промпт инжекция
  • +1
Шаблон

ИИ ред тийминг

ИИ ред тийминг е структурираното изследване на ИИ система от гледна точка на потенциални нападатели или злоупотреба. Специалисти проверяват контролирано дали чатботът разкрива поверителни инструкции, дали може да бъде подтикнат към нежелано поведение, дали дава неверни факти или излага данни. Констатациите водят до по-добри инструкции, филтри и права. Одитът на сигурността на чатбот е по-лека форма: той оценява конфигурацията и примерни разговори спрямо известни рискови области като OWASP Top 10 за LLM приложения.

  • Сигурност на ИИ
  • Тестове за сигурност
  • +1
Шаблон

Извличане на системния промпт

Извличането на системния промпт (system prompt extraction) обозначава опити даден чатбот или ИИ агент да бъде накаран да разкрие скритите си системни инструкции. Ако такъв опит успее, резултатът се нарича изтичане на промпт: извличането е атаката, изтичането е последицата. Ефективната защита започва с това паролите, ключовете и поверителните правила да не се включват в инструкциите и да се приема, че те могат да станат публични; проверките на входа и редовното тестване добавят допълнителни предпазни мерки.

  • Сигурност
  • Изтичане на промпт
  • +1
Шаблон