ET
Logi sisseAlusta kohe
Sõnastik

Süsteemiprompti väljavõtmine

Mis on Süsteemiprompti väljavõtmine?

Süsteemiprompti väljavõtmine (system prompt extraction) tähendab katseid panna vestlusrobot või TI-agent oma peidetud süsteemijuhiseid paljastama. Kui selline katse õnnestub, nimetatakse tulemust prompti lekkeks: väljavõtmine on rünnak, leke on tagajärg. Tõhus kaitse algab sellest, et paroole, võtmeid ja konfidentsiaalseid reegleid juhistest eemal hoitakse ning eeldatakse, et need võivad avalikuks saada; sisendite kontroll ja regulaarne testimine lisavad täiendavat kaitset.

Kuidas KI.ordo aitab

KI.ordo mall „Vestlusroboti turvaaudit“ kontrollib agendi juhiseid selliste riskide suhtes nagu paljastatud süsteemijuhised ja pakub kahjutuid enesetesti küsimusi.

Loe lähemalt : Süsteemiprompti väljavõtmine

Sobivad mallid

Teemad

  • Turvalisus
  • Prompti leke
  • Chatbots

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot
← Kõik terminid

Seotud terminid

Prompti leke

Prompti leke (prompt leaking) tähendab TI-süsteemi sisemiste juhiste tahtmatut avalikuks tulemist, näiteks kui vestlusrobot paljastab oma süsteemiprompti nutikalt sõnastatud päringu peale. See muutub probleemiks, kui need juhised sisaldavad ärilogikat, sisemist teavet või isegi pääsuandmeid. OWASP-i loend suurte keelemudelite rakendustele nimetab seda riski selgesõnaliselt. Tõhusaim kaitse on kirjutada juhised nii, nagu need võiksid avalikuks saada, mitte kunagi salvestada neisse saladusi ja kontrollida ka väljundeid.

  • TI turvalisus
  • süsteemiprompt
  • +1
Mall

Jailbreaking

Jailbreaking tähendab katseid TI-mudeli ohutusreeglitest mööda hiilida nutikalt sõnastatud sisenditega, et see looks sisu või teeks toiminguid, millest ta peaks keelduma. Organisatsioonide jaoks on see risk, sest vestlusrobot võib näiteks avaldada konfidentsiaalseid juhiseid või reageerida sobimatult. Kaitsemeetmed on selged süsteemijuhised, sisendite ja väljundite filtreerimine, piiratud õigused, logimine ja regulaarne turvatestimine (red teaming).

  • Turvalisus
  • Väärkasutuse ennetamine
  • +1
Mall

Vestlusroboti turvaaudit

Vestlusroboti turvaaudit on struktureeritud ülevaatus selle kohta, kas TI-vestlusrobot kaitseb piisavalt konfidentsiaalseid andmeid, oma sisemisi juhiseid ja oma tegutsemisõigusi. Muu hulgas uuritakse vastuvõtlikkust juhiste süstimisele (prompt injection), teabe tahtmatut avalikustamist ja liiga laia ligipääsu tööriistadele – sageli OWASP Top 10 for LLM Applications järgi. Tulemuseks on aruanne, milles on hinnang iga riskivaldkonna kohta ja konkreetsed meetmed.

  • turvalisus
  • audit
  • +1
Mall

OWASP LLM Top 10

OWASP Top 10 suurte keelemudelite rakendustele on nimekiri olulisematest turvariskidest suurtel keelemudelitel põhinevates rakendustes, mille avaldab OWASP GenAI Security Project. Praegune 2026. aasta väljaanne ilmus 2026. aasta augustis (seisuga oktoober 2026) ja hõlmab: prompti süstimist (prompt injection), tundliku teabe avalikuks tulemist, liigset agentsust, tarneahelat, andme- ja mudelimürgitust, piiramatut ressursikasutust, väärinfot, varjatud konteksti paljastumist, vektorite ja embeddingute nõrkusi ning väljundite ebaõiget käsitlemist. See on kontrollnimekirjaks arenduses ja auditites.

  • turvalisus
  • standard
  • +1
Mall