MT
IdħolIbda issa
Glossarju

Red teaming tal-IA

X'inhu Red teaming tal-IA?

Ir-red teaming tal-IA huwa l-eżami strutturat ta' sistema tal-IA mill-perspettiva ta' attakkanti potenzjali jew ta' użu ħażin. L-ispeċjalisti jittestjaw b'mod ikkontrollat jekk chatbot jiżvelax struzzjonijiet kunfidenzjali, jistax jitwassal għal imġiba mhux mixtieqa, jagħtix fatti foloz jew jesponix data. Is-sejbiet iwasslu għal struzzjonijiet, filtri u permessi aħjar. Verifika tas-sigurtà taċ-chatbot hija forma eħfef: tivvaluta l-konfigurazzjoni u konversazzjonijiet ta' kampjun skont oqsma ta' riskju magħrufa bħall-OWASP Top 10 għall-Applikazzjonijiet LLM.

Kif jgħin KI.ordo

Il-mudell ta' KI.ordo “Verifika tas-sigurtà taċ-chatbot” jivvaluta l-istruzzjonijiet u konversazzjonijiet ta' kampjun skont l-oqsma ta' riskju tal-OWASP u jissuġġerixxi mistoqsijiet ta' awtotest li ma jagħmlux ħsara; ma jissostitwixxix red teaming komprensiv minn speċjalisti.

Sir af aktar : Red teaming tal-IA

Mudelli li jaqblu

Suġġetti

  • Sigurtà tal-IA
  • Ittestjar tas-sigurtà
  • Chatbot

Ipprova KI.ordo

Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.

Ibda d-demo
← It-termini kollha

Termini relatati

Verifika tas-sigurtà taċ-chatbot

Verifika tas-sigurtà taċ-chatbot hija reviżjoni strutturata ta' jekk chatbot tal-IA jipproteġix b'mod adegwat id-data kunfidenzjali, l-istruzzjonijiet interni tiegħu u l-permessi tiegħu biex jaġixxi. Teżamina, fost l-oħrajn, is-suxxettibbiltà għall-prompt injection, l-iżvelar mhux intenzjonat ta' informazzjoni u l-aċċess wiesa' wisq għall-għodod – ta' spiss skont l-OWASP Top 10 għall-Applikazzjonijiet LLM. Ir-riżultat huwa rapport b'valutazzjoni għal kull qasam ta' riskju u miżuri konkreti.

  • sigurtà
  • verifika
  • +1
Mudell

OWASP LLM Top 10

L-OWASP Top 10 for LLM Applications hija lista tar-riskji tas-sigurtà l-aktar importanti f'applikazzjonijiet mibnija fuq mudelli lingwistiċi kbar, ippubblikata mill-OWASP GenAI Security Project. L-edizzjoni kurrenti tal-2026 dehret f'Awwissu 2026 (kif inhu f'Ottubru 2026) u tkopri: prompt injection, żvelar ta' informazzjoni sensittiva, aġenzija eċċessiva, katina tal-provvista, avvelenament tad-data u tal-mudell, konsum bla limitu, informazzjoni qarrieqa, żvelar tal-kuntest moħbi, dgħufijiet tal-vetturi u tal-embeddings, u trattament mhux xieraq tal-output. Isservi bħala lista ta' kontroll għall-iżvilupp u l-awditjar.

  • sigurtà
  • standard
  • +1
Mudell

Ittestjar tal-penetrazzjoni tal-IA

Test tal-penetrazzjoni tal-IA huwa valutazzjoni tas-sigurtà kkummissjonata u kkontrollata li fiha speċjalisti jittestjaw deliberatament sistema tal-IA għal dgħufijiet, bħal prompt injection, tnixxija ta' data kunfidenzjali jew aġent b'permessi eċċessivi. Għall-kuntrarju tar-red teaming usa', jiffoka fuq kamp ta' applikazzjoni definit b'mod ċar b'sejbiet u rimedji ddokumentati. Jaqbel li jsir qabel ma chatbot jibda jaħdem u wara bidliet kbar.

  • Sigurtà
  • Valutazzjoni
  • +1
Mudell

Sigurtà tal-LLM

Is-sigurtà tal-LLM tkopri l-miżuri kollha li jipproteġu applikazzjonijiet mibnija fuq mudelli lingwistiċi kbar minn użu ħażin, tnixxija tad-data u mġiba mhux mixtieqa. Riskji tipiċi jinkludu prompt injection, żvelar ta' struzzjonijiet jew data kunfidenzjali, u aġenti b'permessi eċċessivi. Il-protezzjoni tiġi minn diversi saffi: struzzjonijiet ċari, drittijiet ristretti, kontrolli tal-inputs u tal-outputs, firewalls tal-IA, red teaming u awditi regolari.

  • sigurtà
  • mudelli lingwistiċi
  • +1
Mudell