BG
ВходЗапочнете сега
Речник

сигурност на LLM

Какво е сигурност на LLM?

Сигурността на LLM обхваща всички мерки, които защитават приложенията, изградени върху големи езикови модели, от злоупотреби, изтичане на данни и нежелано поведение. Типични рискове са промпт инжекция, разкриване на поверителни инструкции или данни и агенти с прекомерни права. Защитата идва от няколко слоя: ясни инструкции, ограничени права, проверка на входните и изходните данни, ИИ защитни стени, red teaming и редовни одити.

Как помага KI.ordo

В KI.ordo ролите от наблюдател до собственик определят кой може да променя агенти и знания, дневник на промените поддържа редакциите проследими, а шаблонът за одит на сигурността на чатбот подпомага прегледите.

Научете повече : сигурност на LLM

Подходящи шаблони

Теми

  • сигурност
  • езикови модели
  • управление на риска

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото
← Всички термини

Свързани термини

ИИ защитна стена

ИИ защитната стена е защитен слой между потребителите, източниците на данни и ИИ модела. Тя проверява входните данни за опити за манипулация, като промпт инжекция или джейлбрейк, и проверява изходните данни, например за поверителни данни или нежелано съдържание, преди да ги предаде нататък. Може да използва правила, класификационни модели или втори езиков модел. ИИ защитната стена намалява риска, но не предлага пълна защита и не замества нито ограничените права, нито тестването.

  • Сигурност
  • Промпт инжекция
  • +1
Шаблон

ИИ ред тийминг

ИИ ред тийминг е структурираното изследване на ИИ система от гледна точка на потенциални нападатели или злоупотреба. Специалисти проверяват контролирано дали чатботът разкрива поверителни инструкции, дали може да бъде подтикнат към нежелано поведение, дали дава неверни факти или излага данни. Констатациите водят до по-добри инструкции, филтри и права. Одитът на сигурността на чатбот е по-лека форма: той оценява конфигурацията и примерни разговори спрямо известни рискови области като OWASP Top 10 за LLM приложения.

  • Сигурност на ИИ
  • Тестове за сигурност
  • +1
Шаблон

Индиректна промпт инжекция

При индиректната промпт инжекция манипулативните инструкции не са във входните данни на потребителя, а са скрити в съдържание, което ИИ системата обработва по пътя – като уеб страници, имейли или документи. Когато агент прочете такова съдържание, може да вземе скритите команди за истински задачи и например да разкрие данни. Предпазните мерки включват третиране на външното съдържание строго като данни, ограничаване на правата, проверка на входните данни и изискване на човешко одобрение за критични действия.

  • Сигурност
  • Промпт инжекция
  • +1
Шаблон

OWASP LLM Top 10

OWASP Top 10 за приложения с LLM е списък на най-важните рискове за сигурността в приложения, изградени върху големи езикови модели, публикуван от проекта OWASP GenAI Security Project. Актуалното издание за 2026 г. излезе през август 2026 г. (към октомври 2026 г.) и обхваща: инжектиране на промптове (prompt injection), разкриване на чувствителна информация, прекомерна самостоятелност (excessive agency), верига на доставки, отравяне на данни и модели, неограничена консумация, дезинформация, разкриване на скрит контекст, слабости на векторите и ембедингите и неправилна обработка на изхода. Служи като контролен списък за разработка и одити.

  • сигурност
  • стандарт
  • +1
Шаблон