ET
Logi sisseAlusta kohe
Sõnastik

Jailbreaking

Mis on Jailbreaking?

Jailbreaking tähendab katseid TI-mudeli ohutusreeglitest mööda hiilida nutikalt sõnastatud sisenditega, et see looks sisu või teeks toiminguid, millest ta peaks keelduma. Organisatsioonide jaoks on see risk, sest vestlusrobot võib näiteks avaldada konfidentsiaalseid juhiseid või reageerida sobimatult. Kaitsemeetmed on selged süsteemijuhised, sisendite ja väljundite filtreerimine, piiratud õigused, logimine ja regulaarne turvatestimine (red teaming).

Kuidas KI.ordo aitab

KI.ordo valmismallid TI tulemüüri ja vestlusroboti turvaauditi jaoks aitavad märgata kahtlaseid sisendeid ja kontrollida oma agentide juhiseid nõrkuste suhtes.

Loe lähemalt : Jailbreaking

Sobivad mallid

Teemad

  • Turvalisus
  • Väärkasutuse ennetamine
  • LLM

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot
← Kõik terminid

Seotud terminid

Kaudne prompt injection

Kaudse prompt injection'i korral ei ole manipuleerivad juhised kasutaja sisendis, vaid peidetud sisus, mida TI-süsteem muu hulgas töötleb, näiteks veebilehtedel, e-kirjades või dokumentides. Kui agent sellist sisu loeb, võib ta peidetud käsud ekslikult päris ülesanneteks pidada ja näiteks andmeid avaldada. Kaitsemeetmed on välise sisu käsitlemine rangelt andmetena, õiguste piiramine, sisendite filtreerimine ja inimese kinnituse nõudmine kriitiliste toimingute puhul.

  • Turvalisus
  • Prompt injection
  • +1
Mall

TI tulemüür

TI tulemüür on kaitsekiht kasutajate, andmeallikate ja TI-mudeli vahel. See filtreerib sisendeid manipuleerimiskatsete, nagu prompt injection või jailbreak, suhtes ning kontrollib väljundeid, näiteks konfidentsiaalsete andmete või soovimatu sisu osas, enne nende edasiandmist. See võib kasutada reegleid, klassifitseerimismudeleid või teist keelemudelit. TI tulemüür vähendab riski, kuid ei paku täielikku kaitset ning ei asenda piiratud õigusi ega testimist.

  • Turvalisus
  • Prompt injection
  • +1
Mall

TI punane meeskond (red teaming)

TI punane meeskond (red teaming) on TI-süsteemi struktureeritud uurimine võimalike ründajate või väärkasutuse vaatenurgast. Spetsialistid testivad kontrollitud viisil, kas vestlusrobot paljastab konfidentsiaalseid juhiseid, kas seda saab suunata soovimatule käitumisele, kas see annab valefakte või paljastab andmeid. Leiud aitavad parandada juhiseid, filtreid ja õigusi. Vestlusroboti turvaaudit on kergem vorm: see hindab seadistust ja näidisvestlusi teadaolevate riskivaldkondade, nagu OWASP Top 10 for LLM Applications, alusel.

  • TI turvalisus
  • Turvatestimine
  • +1
Mall

Süsteemiprompti väljavõtmine

Süsteemiprompti väljavõtmine (system prompt extraction) tähendab katseid panna vestlusrobot või TI-agent oma peidetud süsteemijuhiseid paljastama. Kui selline katse õnnestub, nimetatakse tulemust prompti lekkeks: väljavõtmine on rünnak, leke on tagajärg. Tõhus kaitse algab sellest, et paroole, võtmeid ja konfidentsiaalseid reegleid juhistest eemal hoitakse ning eeldatakse, et need võivad avalikuks saada; sisendite kontroll ja regulaarne testimine lisavad täiendavat kaitset.

  • Turvalisus
  • Prompti leke
  • +1
Mall