Glossarju

Sigurtà tal-LLM

X'inhu Sigurtà tal-LLM?

Is-sigurtà tal-LLM tkopri l-miżuri kollha li jipproteġu applikazzjonijiet mibnija fuq mudelli lingwistiċi kbar minn użu ħażin, tnixxija tad-data u mġiba mhux mixtieqa. Riskji tipiċi jinkludu prompt injection, żvelar ta' struzzjonijiet jew data kunfidenzjali, u aġenti b'permessi eċċessivi. Il-protezzjoni tiġi minn diversi saffi: struzzjonijiet ċari, drittijiet ristretti, kontrolli tal-inputs u tal-outputs, firewalls tal-IA, red teaming u awditi regolari.

Kif jgħin KI.ordo

F'KI.ordo, ir-rwoli minn osservatur sa sid jiddeterminaw min jista' jibdel l-aġenti u l-għarfien, reġistru tal-bidliet iżomm l-editjar traċċabbli, u mudell tal-awditu tas-sigurtà tal-chatbot jappoġġa r-reviżjonijiet.

Sir af aktar

Mudelli li jaqblu

Verifika tas-sigurtà taċ-chatbotJirrevedi l-istruzzjonijiet u konversazzjonijiet ta' kampjun ta' chatbot jew aġent skont l-OWASP Top 10 għall-applikazzjonijiet LLM, jelenka s-sejbiet u l-miżuri u jipprovdi għaxar mistoqsijiet ta' awtotest li ma jagħmlux ħsara.Ara l-mudell

Suġġetti

sigurtà
mudelli lingwistiċi
ġestjoni tar-riskju

Ipprova KI.ordo

Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.

Ibda d-demo

← It-termini kollha

Termini relatati

Firewall tal-IA

Firewall tal-IA huwa saff protettiv bejn l-utenti, is-sorsi tad-data u mudell tal-IA. Jiskrinja l-inputs għal tentattivi ta' manipulazzjoni bħal prompt injection jew jailbreaks u jiċċekkja l-outputs, pereżempju għal data kunfidenzjali jew kontenut mhux mixtieq, qabel ma jgħaddihom 'il quddiem. Jista' juża regoli, mudelli ta' klassifikazzjoni jew mudell lingwistiku ieħor. Firewall tal-IA inaqqas ir-riskju iżda ma joffrix protezzjoni sħiħa u ma jissostitwixxix permessi limitati u lanqas it-testijiet.

Sigurtà
Prompt injection
+1

Mudell

Red teaming tal-IA

Ir-red teaming tal-IA huwa l-eżami strutturat ta' sistema tal-IA mill-perspettiva ta' attakkanti potenzjali jew ta' użu ħażin. L-ispeċjalisti jittestjaw b'mod ikkontrollat jekk chatbot jiżvelax struzzjonijiet kunfidenzjali, jistax jitwassal għal imġiba mhux mixtieqa, jagħtix fatti foloz jew jesponix data. Is-sejbiet iwasslu għal struzzjonijiet, filtri u permessi aħjar. Verifika tas-sigurtà taċ-chatbot hija forma eħfef: tivvaluta l-konfigurazzjoni u konversazzjonijiet ta' kampjun skont oqsma ta' riskju magħrufa bħall-OWASP Top 10 għall-Applikazzjonijiet LLM.

Sigurtà tal-IA
Ittestjar tas-sigurtà
+1

Mudell

Prompt injection indirett

F'prompt injection indirett, struzzjonijiet manipulattivi ma jkunux fl-input tal-utent iżda moħbija f'kontenut li sistema tal-IA tipproċessa matul it-triq, bħal paġni web, emails jew dokumenti. Meta aġent jaqra kontenut bħal dan, jista' jħawwad kmandi moħbija ma' kompiti ġenwini u, pereżempju, jiżvela data. Is-salvagwardji jinkludu li kontenut estern jiġi ttrattat strettament bħala data, limitazzjoni tal-permessi, skrinjar tal-inputs u talba għal approvazzjoni umana għal azzjonijiet kritiċi.

Sigurtà
Prompt injection
+1

Mudell

OWASP LLM Top 10

L-OWASP Top 10 for LLM Applications hija lista tar-riskji tas-sigurtà l-aktar importanti f'applikazzjonijiet mibnija fuq mudelli lingwistiċi kbar, ippubblikata mill-OWASP GenAI Security Project. L-edizzjoni kurrenti tal-2026 dehret f'Awwissu 2026 (kif inhu f'Ottubru 2026) u tkopri: prompt injection, żvelar ta' informazzjoni sensittiva, aġenzija eċċessiva, katina tal-provvista, avvelenament tad-data u tal-mudell, konsum bla limitu, informazzjoni qarrieqa, żvelar tal-kuntest moħbi, dgħufijiet tal-vetturi u tal-embeddings, u trattament mhux xieraq tal-output. Isservi bħala lista ta' kontroll għall-iżvilupp u l-awditjar.

sigurtà
standard
+1

Mudell