BG
ВходЗапочнете сега
Речник

Изтичане на данни (data exfiltration)

Какво е Изтичане на данни (data exfiltration)?

Изтичането на данни (data exfiltration) е неразрешено пренасяне на данни извън дадена система. При ИИ приложенията то може да се случи, когато чатбот или агент бъде манипулиран чрез целенасочено съставени входни данни или подготвено съдържание – например на уеб страница, която чете – да разкрие или препрати поверителна информация. Защитата включва минимални права за достъп, проверка на входните данни, ограничения за изходящите връзки и наблюдение на отговорите.

Как помага KI.ordo

Шаблонът „ИИ защитна стена“ на KI.ordo може да се постави пред агент като подпоток и задържа входни данни, които се опитват например да получат системни инструкции или данни.

Научете повече : Изтичане на данни (data exfiltration)

Подходящи шаблони

Теми

  • Сигурност на ИИ
  • защита на данните
  • промпт инжекция

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото
← Всички термини

Свързани термини

ИИ защитна стена

ИИ защитната стена е защитен слой между потребителите, източниците на данни и ИИ модела. Тя проверява входните данни за опити за манипулация, като промпт инжекция или джейлбрейк, и проверява изходните данни, например за поверителни данни или нежелано съдържание, преди да ги предаде нататък. Може да използва правила, класификационни модели или втори езиков модел. ИИ защитната стена намалява риска, но не предлага пълна защита и не замества нито ограничените права, нито тестването.

  • Сигурност
  • Промпт инжекция
  • +1
Шаблон

Индиректна промпт инжекция

При индиректната промпт инжекция манипулативните инструкции не са във входните данни на потребителя, а са скрити в съдържание, което ИИ системата обработва по пътя – като уеб страници, имейли или документи. Когато агент прочете такова съдържание, може да вземе скритите команди за истински задачи и например да разкрие данни. Предпазните мерки включват третиране на външното съдържание строго като данни, ограничаване на правата, проверка на входните данни и изискване на човешко одобрение за критични действия.

  • Сигурност
  • Промпт инжекция
  • +1
Шаблон

Изтичане на промпт

Изтичането на промпт (prompt leaking) е непреднамереното разкриване на вътрешните инструкции на дадена система с ИИ, например когато чатбот разкрие системния си промпт в отговор на хитро формулирана заявка. Това се превръща в проблем, ако инструкциите съдържат бизнес логика, вътрешна информация или дори пароли и ключове за достъп. Списъкът на OWASP за приложения с LLM назовава този риск изрично. Най-ефективната защита е инструкциите да се пишат така, сякаш могат да станат публични, в тях никога да не се съхраняват тайни и да се проверяват също и изходните резултати.

  • Сигурност на ИИ
  • системен промпт
  • +1
Шаблон

сигурност на LLM

Сигурността на LLM обхваща всички мерки, които защитават приложенията, изградени върху големи езикови модели, от злоупотреби, изтичане на данни и нежелано поведение. Типични рискове са промпт инжекция, разкриване на поверителни инструкции или данни и агенти с прекомерни права. Защитата идва от няколко слоя: ясни инструкции, ограничени права, проверка на входните и изходните данни, ИИ защитни стени, red teaming и редовни одити.

  • сигурност
  • езикови модели
  • +1
Шаблон