BG
ВходЗапочнете сега
Речник

OWASP LLM Top 10

Какво е OWASP LLM Top 10?

OWASP Top 10 за приложения с LLM е списък на най-важните рискове за сигурността в приложения, изградени върху големи езикови модели, публикуван от проекта OWASP GenAI Security Project. Актуалното издание за 2026 г. излезе през август 2026 г. (към октомври 2026 г.) и обхваща: инжектиране на промптове (prompt injection), разкриване на чувствителна информация, прекомерна самостоятелност (excessive agency), верига на доставки, отравяне на данни и модели, неограничена консумация, дезинформация, разкриване на скрит контекст, слабости на векторите и ембедингите и неправилна обработка на изхода. Служи като контролен списък за разработка и одити.

Как помага KI.ordo

Шаблонът на KI.ordo „Одит на сигурността на чатбот“ оценява инструкциите на агента и примерни разговори спрямо рисковите области от OWASP Top 10 за приложения с LLM.

Научете повече : OWASP LLM Top 10

Подходящи шаблони

Теми

  • сигурност
  • стандарт
  • одит

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото
← Всички термини

Свързани термини

сигурност на LLM

Сигурността на LLM обхваща всички мерки, които защитават приложенията, изградени върху големи езикови модели, от злоупотреби, изтичане на данни и нежелано поведение. Типични рискове са промпт инжекция, разкриване на поверителни инструкции или данни и агенти с прекомерни права. Защитата идва от няколко слоя: ясни инструкции, ограничени права, проверка на входните и изходните данни, ИИ защитни стени, red teaming и редовни одити.

  • сигурност
  • езикови модели
  • +1
Шаблон

Индиректна промпт инжекция

При индиректната промпт инжекция манипулативните инструкции не са във входните данни на потребителя, а са скрити в съдържание, което ИИ системата обработва по пътя – като уеб страници, имейли или документи. Когато агент прочете такова съдържание, може да вземе скритите команди за истински задачи и например да разкрие данни. Предпазните мерки включват третиране на външното съдържание строго като данни, ограничаване на правата, проверка на входните данни и изискване на човешко одобрение за критични действия.

  • Сигурност
  • Промпт инжекция
  • +1
Шаблон

Одит на сигурността на чатбот

Одитът на сигурността на чатбот е структуриран преглед дали ИИ чатботът защитава достатъчно поверителните данни, вътрешните си инструкции и правата си за действие. Той проверява, наред с другото, податливостта на prompt injection (инжектиране на промпт), непреднамереното разкриване на информация и прекалено широкия достъп до инструменти – често по OWASP Top 10 за LLM приложения. Резултатът е доклад с оценка за всяка рискова област и конкретни мерки.

  • сигурност
  • одит
  • +1
Шаблон

Изтичане на промпт

Изтичането на промпт (prompt leaking) е непреднамереното разкриване на вътрешните инструкции на дадена система с ИИ, например когато чатбот разкрие системния си промпт в отговор на хитро формулирана заявка. Това се превръща в проблем, ако инструкциите съдържат бизнес логика, вътрешна информация или дори пароли и ключове за достъп. Списъкът на OWASP за приложения с LLM назовава този риск изрично. Най-ефективната защита е инструкциите да се пишат така, сякаш могат да станат публични, в тях никога да не се съхраняват тайни и да се проверяват също и изходните резултати.

  • Сигурност на ИИ
  • системен промпт
  • +1
Шаблон