LT
PrisijungtiPradėti
Terminų žodynas

Jailbreaking

Kas yra Jailbreaking?

Jailbreak – tai bandymai apeiti DI modelio saugos taisykles gudriai suformuluotomis užklausomis, kad jis sukurtų turinį ar atliktų veiksmus, kurių turėtų atsisakyti. Organizacijoms tai yra rizika, nes pokalbių robotas gali, pavyzdžiui, atskleisti konfidencialius nurodymus ar netinkamai atsakyti. Apsaugos priemonės: aiškūs sisteminiai nurodymai, įvesties ir išvesties tikrinimas, ribotos teisės, registravimas ir reguliarūs saugumo testai (red teaming).

Kaip padeda KI.ordo

KI.ordo paruošti DI ugniasienės ir pokalbių roboto saugumo audito šablonai padeda pastebėti įtartiną įvestį ir patikrinti savo agentų nurodymus dėl silpnų vietų.

Sužinoti daugiau : Jailbreaking

Tinkami šablonai

Temos

  • Saugumas
  • piktnaudžiavimo prevencija
  • LLM

Išbandykite KI.ordo

Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.

Pradėti demonstraciją
← Visi terminai

Susiję terminai

Netiesioginė užklausos injekcija

Netiesioginės užklausos injekcijos (angl. indirect prompt injection) atveju manipuliuojantys nurodymai yra ne naudotojo įvestyje, o paslėpti turinyje, kurį DI sistema apdoroja pakeliui, pavyzdžiui, tinklalapiuose, el. laiškuose ar dokumentuose. Perskaitęs tokį turinį, agentas gali paslėptas komandas palaikyti tikromis užduotimis ir, pavyzdžiui, atskleisti duomenis. Apsaugos priemonės: išorinį turinį laikyti tik duomenimis, riboti leidimus, tikrinti įvestį ir reikalauti žmogaus patvirtinimo kritiniams veiksmams.

  • Saugumas
  • užklausos injekcija (prompt injection)
  • +1
Šablonas

DI ugniasienė

DI ugniasienė – tai apsauginis sluoksnis tarp naudotojų, duomenų šaltinių ir DI modelio. Ji tikrina įvestį dėl manipuliavimo bandymų, tokių kaip užklausos injekcija ar jailbreak, ir prieš perduodama toliau tikrina išvestį, pavyzdžiui, dėl konfidencialių duomenų ar nepageidaujamo turinio. Ji gali naudoti taisykles, klasifikavimo modelius ar antrą kalbos modelį. DI ugniasienė mažina riziką, bet nesuteikia visiškos apsaugos ir nepakeičia nei ribotų leidimų, nei testavimo.

  • Saugumas
  • užklausos injekcija (prompt injection)
  • +1
Šablonas

DI raudonoji komanda

DI raudonoji komanda (red teaming) – tai struktūruotas DI sistemos tyrimas iš galimų užpuolikų ar piktnaudžiavimo perspektyvos. Specialistai kontroliuojamai tikrina, ar pokalbių robotas neatskleidžia konfidencialių nurodymų, ar jo negalima priversti elgtis nepageidaujamai, ar jis nepateikia klaidingų faktų ir neatskleidžia duomenų. Išvados padeda pagerinti nurodymus, filtrus ir leidimus. Pokalbių roboto saugumo auditas yra lengvesnė forma: jis vertina konfigūraciją ir pavyzdinius pokalbius pagal žinomas rizikos sritis, pavyzdžiui, OWASP Top 10 LLM programoms.

  • DI saugumas
  • Saugumo testavimas
  • +1
Šablonas

Sisteminio nurodymo išgavimas

Sisteminio nurodymo išgavimas (angl. system prompt extraction) apibūdina bandymus priversti pokalbių robotą ar DI agentą atskleisti paslėptus sistemos nurodymus. Jei toks bandymas pavyksta, rezultatas vadinamas užklausų nutekėjimu: išgavimas yra ataka, nutekėjimas – pasekmė. Veiksminga apsauga prasideda nuo to, kad slaptažodžiai, raktai ir konfidencialios taisyklės nebūtų nurodymuose ir kad būtų laikoma, jog jie gali tapti vieši; papildomų apsaugos priemonių suteikia įvesties patikros ir reguliarus testavimas.

  • Saugumas
  • Užklausų nutekėjimas
  • +1
Šablonas