LT
PrisijungtiPradėti
Terminų žodynas

Sisteminio nurodymo išgavimas

Kas yra Sisteminio nurodymo išgavimas?

Sisteminio nurodymo išgavimas (angl. system prompt extraction) apibūdina bandymus priversti pokalbių robotą ar DI agentą atskleisti paslėptus sistemos nurodymus. Jei toks bandymas pavyksta, rezultatas vadinamas užklausų nutekėjimu: išgavimas yra ataka, nutekėjimas – pasekmė. Veiksminga apsauga prasideda nuo to, kad slaptažodžiai, raktai ir konfidencialios taisyklės nebūtų nurodymuose ir kad būtų laikoma, jog jie gali tapti vieši; papildomų apsaugos priemonių suteikia įvesties patikros ir reguliarus testavimas.

Kaip padeda KI.ordo

KI.ordo šablonas „Pokalbių roboto saugumo auditas“ tikrina agento nurodymus dėl tokių rizikų kaip atskleisti sistemos nurodymai ir pateikia nekenksmingų savitikros klausimų.

Sužinoti daugiau : Sisteminio nurodymo išgavimas

Tinkami šablonai

Temos

  • Saugumas
  • Užklausų nutekėjimas
  • Chatbots

Išbandykite KI.ordo

Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.

Pradėti demonstraciją
← Visi terminai

Susiję terminai

Užklausų nutekėjimas

Užklausų nutekėjimas (angl. prompt leaking) – tai netyčinis vidinių DI sistemos nurodymų atskleidimas, pavyzdžiui, kai pokalbių robotas gudriai suformuluotą prašymą atsakydamas parodo savo sisteminį nurodymą. Tai tampa problema, jei tuose nurodymuose yra verslo logikos, vidinės informacijos ar net prisijungimo duomenų. OWASP sąrašas LLM programoms šią riziką įvardija aiškiai. Veiksmingiausia apsauga – rašyti nurodymus taip, tarsi jie galėtų tapti vieši, niekada juose nesaugoti paslapčių ir tikrinti taip pat ir išvestį.

  • DI saugumas
  • sisteminis nurodymas
  • +1
Šablonas

Jailbreaking

Jailbreak – tai bandymai apeiti DI modelio saugos taisykles gudriai suformuluotomis užklausomis, kad jis sukurtų turinį ar atliktų veiksmus, kurių turėtų atsisakyti. Organizacijoms tai yra rizika, nes pokalbių robotas gali, pavyzdžiui, atskleisti konfidencialius nurodymus ar netinkamai atsakyti. Apsaugos priemonės: aiškūs sisteminiai nurodymai, įvesties ir išvesties tikrinimas, ribotos teisės, registravimas ir reguliarūs saugumo testai (red teaming).

  • Saugumas
  • piktnaudžiavimo prevencija
  • +1
Šablonas

Pokalbių roboto saugumo auditas

Pokalbių roboto saugumo auditas – struktūruota patikra, ar DI pokalbių robotas tinkamai saugo konfidencialius duomenis, savo vidinius nurodymus ir veiksmų leidimus. Be kita ko, tikrinamas jautrumas užklausos injekcijai, netyčinis informacijos atskleidimas ir per plati prieiga prie įrankių – dažnai pagal OWASP Top 10 LLM programoms. Rezultatas – ataskaita su kiekvienos rizikos srities įvertinimu ir konkrečiomis priemonėmis.

  • saugumas
  • auditas
  • +1
Šablonas

OWASP LLM Top 10

OWASP Top 10 for LLM Applications – svarbiausių saugumo rizikų, kylančių programoms, sukurtoms su dideliais kalbos modeliais, sąrašas, kurį skelbia OWASP GenAI Security Project. Dabartinis 2026 m. leidimas pasirodė 2026 m. rugpjūtį (2026 m. spalio mėn. duomenimis) ir apima: užklausų injekciją, jautrios informacijos atskleidimą, pernelyg didelius įgaliojimus, tiekimo grandinę, duomenų ir modelio užnuodijimą, neribotą išteklių naudojimą, dezinformaciją, paslėpto konteksto atskleidimą, vektorių ir įterpinių silpnybes bei netinkamą išvesties tvarkymą. Jis tarnauja kaip kontrolinis sąrašas kūrimui ir auditams.

  • saugumas
  • standartas
  • +1
Šablonas