BG
ВходЗапочнете сега
Речник

Извличане на системния промпт

Какво е Извличане на системния промпт?

Извличането на системния промпт (system prompt extraction) обозначава опити даден чатбот или ИИ агент да бъде накаран да разкрие скритите си системни инструкции. Ако такъв опит успее, резултатът се нарича изтичане на промпт: извличането е атаката, изтичането е последицата. Ефективната защита започва с това паролите, ключовете и поверителните правила да не се включват в инструкциите и да се приема, че те могат да станат публични; проверките на входа и редовното тестване добавят допълнителни предпазни мерки.

Как помага KI.ordo

Шаблонът на KI.ordo „Одит на сигурността на чатбот“ проверява инструкциите на агента за рискове като разкрити системни инструкции и предоставя безвредни въпроси за самотестване.

Научете повече : Извличане на системния промпт

Подходящи шаблони

Теми

  • Сигурност
  • Изтичане на промпт
  • Chatbots

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото
← Всички термини

Свързани термини

Изтичане на промпт

Изтичането на промпт (prompt leaking) е непреднамереното разкриване на вътрешните инструкции на дадена система с ИИ, например когато чатбот разкрие системния си промпт в отговор на хитро формулирана заявка. Това се превръща в проблем, ако инструкциите съдържат бизнес логика, вътрешна информация или дори пароли и ключове за достъп. Списъкът на OWASP за приложения с LLM назовава този риск изрично. Най-ефективната защита е инструкциите да се пишат така, сякаш могат да станат публични, в тях никога да не се съхраняват тайни и да се проверяват също и изходните резултати.

  • Сигурност на ИИ
  • системен промпт
  • +1
Шаблон

Jailbreaking

Джейлбрейкът (jailbreaking) означава опити за заобикаляне на правилата за безопасност на ИИ модел чрез хитро формулирани входни данни, така че той да създава съдържание или да извършва действия, които е предвидено да отказва. За организациите това е риск, защото чатбот може например да разкрие поверителни инструкции или да реагира неподходящо. Защитните мерки включват ясни системни инструкции, проверка на входа и изхода, ограничени права, водене на дневник и редовни тестове за сигурност (red teaming).

  • Сигурност
  • Предотвратяване на злоупотреби
  • +1
Шаблон

Одит на сигурността на чатбот

Одитът на сигурността на чатбот е структуриран преглед дали ИИ чатботът защитава достатъчно поверителните данни, вътрешните си инструкции и правата си за действие. Той проверява, наред с другото, податливостта на prompt injection (инжектиране на промпт), непреднамереното разкриване на информация и прекалено широкия достъп до инструменти – често по OWASP Top 10 за LLM приложения. Резултатът е доклад с оценка за всяка рискова област и конкретни мерки.

  • сигурност
  • одит
  • +1
Шаблон

OWASP LLM Top 10

OWASP Top 10 за приложения с LLM е списък на най-важните рискове за сигурността в приложения, изградени върху големи езикови модели, публикуван от проекта OWASP GenAI Security Project. Актуалното издание за 2026 г. излезе през август 2026 г. (към октомври 2026 г.) и обхваща: инжектиране на промптове (prompt injection), разкриване на чувствителна информация, прекомерна самостоятелност (excessive agency), верига на доставки, отравяне на данни и модели, неограничена консумация, дезинформация, разкриване на скрит контекст, слабости на векторите и ембедингите и неправилна обработка на изхода. Служи като контролен списък за разработка и одити.

  • сигурност
  • стандарт
  • +1
Шаблон