BG
ВходЗапочнете сега
Речник

Манипулиране на контекстния прозорец

Какво е Манипулиране на контекстния прозорец?

Манипулирането на контекстния прозорец означава атаки, които целенасочено влияят върху текста, който езиковият модел обработва наведнъж, например чрез скрити инструкции в документи, измислени по-ранни части от разговор или големи количества пълнеж, който избутва първоначалните правила на заден план. Защитата идва от ясното разделяне на доверените инструкции от външното съдържание, ограниченията на дължината, проверката на входните данни и предоставянето на възможно най-малко права на агентите.

Как помага KI.ordo

Шаблонът на KI.ordo „ИИ защитна стена: проверка на входни данни“ може да се постави пред агент като подпоток, за да филтрира предварително подозрителните входни данни.

Научете повече : Манипулиране на контекстния прозорец

Подходящи шаблони

Теми

  • Сигурност
  • Промпт инжекция
  • LLM

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото
← Всички термини

Свързани термини

Индиректна промпт инжекция

При индиректната промпт инжекция манипулативните инструкции не са във входните данни на потребителя, а са скрити в съдържание, което ИИ системата обработва по пътя – като уеб страници, имейли или документи. Когато агент прочете такова съдържание, може да вземе скритите команди за истински задачи и например да разкрие данни. Предпазните мерки включват третиране на външното съдържание строго като данни, ограничаване на правата, проверка на входните данни и изискване на човешко одобрение за критични действия.

  • Сигурност
  • Промпт инжекция
  • +1
Шаблон

ИИ защитна стена

ИИ защитната стена е защитен слой между потребителите, източниците на данни и ИИ модела. Тя проверява входните данни за опити за манипулация, като промпт инжекция или джейлбрейк, и проверява изходните данни, например за поверителни данни или нежелано съдържание, преди да ги предаде нататък. Може да използва правила, класификационни модели или втори езиков модел. ИИ защитната стена намалява риска, но не предлага пълна защита и не замества нито ограничените права, нито тестването.

  • Сигурност
  • Промпт инжекция
  • +1
Шаблон

Token Smuggling

Token smuggling е форма на jailbreak, при която нежелани инструкции се прикриват, например разделят се на фрагменти, прекодират се или се пишат със сходно изглеждащи знаци, така че простите филтри по ключови думи да ги пропуснат, докато езиковият модел все пак разбира смисъла им. Защитата включва нормализиране на входните данни преди оценката им, проверки по съдържание, а не само по думи, преглед на изходните резултати и предоставяне на ИИ агентите на възможно най-малко права.

  • Сигурност
  • Jailbreaking
  • +1
Шаблон

Jailbreaking

Джейлбрейкът (jailbreaking) означава опити за заобикаляне на правилата за безопасност на ИИ модел чрез хитро формулирани входни данни, така че той да създава съдържание или да извършва действия, които е предвидено да отказва. За организациите това е риск, защото чатбот може например да разкрие поверителни инструкции или да реагира неподходящо. Защитните мерки включват ясни системни инструкции, проверка на входа и изхода, ограничени права, водене на дневник и редовни тестове за сигурност (red teaming).

  • Сигурност
  • Предотвратяване на злоупотреби
  • +1
Шаблон