Terminų žodynas

Užklausų nutekėjimas

Kas yra Užklausų nutekėjimas?

Užklausų nutekėjimas (angl. prompt leaking) – tai netyčinis vidinių DI sistemos nurodymų atskleidimas, pavyzdžiui, kai pokalbių robotas gudriai suformuluotą prašymą atsakydamas parodo savo sisteminį nurodymą. Tai tampa problema, jei tuose nurodymuose yra verslo logikos, vidinės informacijos ar net prisijungimo duomenų. OWASP sąrašas LLM programoms šią riziką įvardija aiškiai. Veiksmingiausia apsauga – rašyti nurodymus taip, tarsi jie galėtų tapti vieši, niekada juose nesaugoti paslapčių ir tikrinti taip pat ir išvestį.

Kaip padeda KI.ordo

KI.ordo šablonas „Pokalbių roboto saugumo auditas“ padeda patikrinti agento nurodymus dėl šios rizikos; slaptažodžių ir kitų paslapčių juose niekada neturėtų būti.

Sužinoti daugiau : Užklausų nutekėjimas

Temos

  • DI saugumas
  • sisteminis nurodymas
  • duomenų apsauga

Išbandykite KI.ordo

Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.

Pradėti demonstraciją
← Visi terminai

Susiję terminai

Sisteminio nurodymo išgavimas

Sisteminio nurodymo išgavimas (angl. system prompt extraction) apibūdina bandymus priversti pokalbių robotą ar DI agentą atskleisti paslėptus sistemos nurodymus. Jei toks bandymas pavyksta, rezultatas vadinamas užklausų nutekėjimu: išgavimas yra ataka, nutekėjimas – pasekmė. Veiksminga apsauga prasideda nuo to, kad slaptažodžiai, raktai ir konfidencialios taisyklės nebūtų nurodymuose ir kad būtų laikoma, jog jie gali tapti vieši; papildomų apsaugos priemonių suteikia įvesties patikros ir reguliarus testavimas.

  • Saugumas
  • Užklausų nutekėjimas
  • +1
Šablonas

DI ugniasienė

DI ugniasienė – tai apsauginis sluoksnis tarp naudotojų, duomenų šaltinių ir DI modelio. Ji tikrina įvestį dėl manipuliavimo bandymų, tokių kaip užklausos injekcija ar jailbreak, ir prieš perduodama toliau tikrina išvestį, pavyzdžiui, dėl konfidencialių duomenų ar nepageidaujamo turinio. Ji gali naudoti taisykles, klasifikavimo modelius ar antrą kalbos modelį. DI ugniasienė mažina riziką, bet nesuteikia visiškos apsaugos ir nepakeičia nei ribotų leidimų, nei testavimo.

  • Saugumas
  • užklausos injekcija (prompt injection)
  • +1
Šablonas

OWASP LLM Top 10

OWASP Top 10 for LLM Applications – svarbiausių saugumo rizikų, kylančių programoms, sukurtoms su dideliais kalbos modeliais, sąrašas, kurį skelbia OWASP GenAI Security Project. Dabartinis 2026 m. leidimas pasirodė 2026 m. rugpjūtį (2026 m. spalio mėn. duomenimis) ir apima: užklausų injekciją, jautrios informacijos atskleidimą, pernelyg didelius įgaliojimus, tiekimo grandinę, duomenų ir modelio užnuodijimą, neribotą išteklių naudojimą, dezinformaciją, paslėpto konteksto atskleidimą, vektorių ir įterpinių silpnybes bei netinkamą išvesties tvarkymą. Jis tarnauja kaip kontrolinis sąrašas kūrimui ir auditams.

  • saugumas
  • standartas
  • +1
Šablonas

Pokalbių roboto saugumo auditas

Pokalbių roboto saugumo auditas – struktūruota patikra, ar DI pokalbių robotas tinkamai saugo konfidencialius duomenis, savo vidinius nurodymus ir veiksmų leidimus. Be kita ko, tikrinamas jautrumas užklausos injekcijai, netyčinis informacijos atskleidimas ir per plati prieiga prie įrankių – dažnai pagal OWASP Top 10 LLM programoms. Rezultatas – ataskaita su kiekvienos rizikos srities įvertinimu ir konkrečiomis priemonėmis.

  • saugumas
  • auditas
  • +1
Šablonas