MT
IdħolIbda issa
Glossarju

Estrazzjoni tal-prompt tas-sistema

X'inhu Estrazzjoni tal-prompt tas-sistema?

L-estrazzjoni tal-prompt tas-sistema tiddeskrivi tentattivi biex chatbot jew aġent tal-IA jiġi mġiegħel jiżvela l-istruzzjonijiet moħbija tas-sistema tiegħu. Jekk tentattiv bħal dan jirnexxi, ir-riżultat jissejjaħ prompt leaking: l-estrazzjoni hija l-attakk, it-tnixxija hija l-konsegwenza. Il-protezzjoni effettiva tibda billi passwords, ċwievet u regoli kunfidenzjali jinżammu barra mill-istruzzjonijiet u jiġi preżunt li jistgħu jsiru pubbliċi; verifiki tal-input u ittestjar regolari jżidu salvagwardji oħra.

Kif jgħin KI.ordo

Il-mudell ta' KI.ordo “Awditu tas-sigurtà tal-chatbot” jirrevedi l-istruzzjonijiet ta' aġent għal riskji bħal struzzjonijiet tas-sistema żvelati u jipprovdi mistoqsijiet ta' awtotest bla ħsara.

Sir af aktar : Estrazzjoni tal-prompt tas-sistema

Mudelli li jaqblu

Suġġetti

  • Sigurtà
  • Prompt leaking
  • Chatbots

Ipprova KI.ordo

Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.

Ibda d-demo
← It-termini kollha

Termini relatati

Prompt leaking

Il-prompt leaking jirreferi għall-iżvelar mhux intenzjonat tal-istruzzjonijiet interni ta' sistema tal-IA, per eżempju meta chatbot juri l-prompt tas-sistema tiegħu b'risposta għal talba mfassla bir-reqqa. Dan isir problema jekk dawk l-istruzzjonijiet fihom loġika tan-negozju, informazzjoni interna jew saħansitra kredenzjali. Il-lista tal-OWASP għall-applikazzjonijiet LLM issemmi dan ir-riskju b'mod espliċitu. L-aktar salvagward effettiv huwa li l-istruzzjonijiet jinkitbu daqslikieku jistgħu jsiru pubbliċi, li qatt ma jinħażnu sigrieti fihom u li jiġu vverifikati wkoll l-outputs.

  • Sigurtà tal-IA
  • prompt tas-sistema
  • +1
Mudell

Jailbreaking

Il-jailbreaking jirreferi għal tentattivi biex jiġu evitati r-regoli tas-sikurezza ta' mudell tal-IA permezz ta' inputs formulati b'mod għaqli, sabiex jipproduċi kontenut jew jagħmel azzjonijiet li suppost jirrifjuta. Għall-organizzazzjonijiet dan huwa riskju, għax chatbot jista', pereżempju, jiżvela struzzjonijiet kunfidenzjali jew jirrispondi b'mod mhux xieraq. Il-miżuri protettivi jinkludu struzzjonijiet ċari tas-sistema, skrinjar tal-input u tal-output, permessi limitati, reġistrazzjoni u ttestjar regolari tas-sigurtà (red teaming).

  • Sigurtà
  • Prevenzjoni tal-abbuż
  • +1
Mudell

Verifika tas-sigurtà taċ-chatbot

Verifika tas-sigurtà taċ-chatbot hija reviżjoni strutturata ta' jekk chatbot tal-IA jipproteġix b'mod adegwat id-data kunfidenzjali, l-istruzzjonijiet interni tiegħu u l-permessi tiegħu biex jaġixxi. Teżamina, fost l-oħrajn, is-suxxettibbiltà għall-prompt injection, l-iżvelar mhux intenzjonat ta' informazzjoni u l-aċċess wiesa' wisq għall-għodod – ta' spiss skont l-OWASP Top 10 għall-Applikazzjonijiet LLM. Ir-riżultat huwa rapport b'valutazzjoni għal kull qasam ta' riskju u miżuri konkreti.

  • sigurtà
  • verifika
  • +1
Mudell

OWASP LLM Top 10

L-OWASP Top 10 for LLM Applications hija lista tar-riskji tas-sigurtà l-aktar importanti f'applikazzjonijiet mibnija fuq mudelli lingwistiċi kbar, ippubblikata mill-OWASP GenAI Security Project. L-edizzjoni kurrenti tal-2026 dehret f'Awwissu 2026 (kif inhu f'Ottubru 2026) u tkopri: prompt injection, żvelar ta' informazzjoni sensittiva, aġenzija eċċessiva, katina tal-provvista, avvelenament tad-data u tal-mudell, konsum bla limitu, informazzjoni qarrieqa, żvelar tal-kuntest moħbi, dgħufijiet tal-vetturi u tal-embeddings, u trattament mhux xieraq tal-output. Isservi bħala lista ta' kontroll għall-iżvilupp u l-awditjar.

  • sigurtà
  • standard
  • +1
Mudell