Slovník pojmov

AI v kybernetickej bezpečnosti

Čo je AI v kybernetickej bezpečnosti?

AI v kybernetickej bezpečnosti má dve stránky. Na jednej strane techniky AI pomáhajú rýchlejšie odhaľovať útoky, napríklad zachytením anomálií v sieťovej prevádzke, podozrivých prihlásení alebo phishingových e-mailov, a odľahčujú bezpečnostné tímy pri triedení upozornení. Na druhej strane je potrebné chrániť samotné systémy AI, napríklad pred prompt injection alebo únikom údajov. AI je tu účinná len v kombinácii s jasnými procesmi, aktuálnymi systémami a vyškolenými ľuďmi.

Témy

Bezpečnosť
detekcia hrozieb
ochrana

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo

← Všetky pojmy

Súvisiace pojmy

Detekcia anomálií

Detekcia anomálií nachádza dátové body, udalosti alebo vzory, ktoré sa výrazne odlišujú od normy. Môže ísť o nezvyčajne veľké transakcie, náhle skoky v hodnotách senzorov, duplicitné záznamy alebo podozrivú sieťovú aktivitu. Využíva sa vo financiách, IT bezpečnosti, výrobe a kontrole kvality. Metódy siahajú od jednoduchých štatistických prahov až po učiace sa modely; zistenia sú indície, ktoré by mal posúdiť človek.

Analýza údajov
Kontrola kvality
+1

Šablóna

Bezpečnosť LLM

Bezpečnosť LLM zahŕňa všetky opatrenia, ktoré chránia aplikácie postavené na veľkých jazykových modeloch pred zneužitím, únikom údajov a nežiaducim správaním. Typické riziká zahŕňajú prompt injection, prezradenie dôverných pokynov alebo údajov a agentov s nadmernými oprávneniami. Ochranu zabezpečuje viacero vrstiev: jasné pokyny, obmedzené práva, kontroly vstupov a výstupov, AI firewally, red teaming a pravidelné audity.

bezpečnosť
jazykové modely
+1

Šablóna

Penetračné testovanie AI

Penetračný test AI je objednané, kontrolované bezpečnostné posúdenie, pri ktorom odborníci zámerne skúmajú systém AI na slabé miesta, ako sú prompt injection, únik dôverných údajov alebo agent s nadmernými oprávneniami. Na rozdiel od širšieho red teamingu sa zameriava na jasne vymedzený rozsah so zdokumentovanými zisteniami a nápravami. Oplatí sa vykonať ho pred spustením chatbota a po väčších zmenách.

Bezpečnosť
posúdenie
+1

Šablóna

AI red teaming

AI red teaming je štruktúrované preverovanie AI systému z pohľadu potenciálnych útočníkov alebo zneužitia. Špecialisti kontrolovane testujú, či chatbot neprezradí dôverné pokyny, či ho nemožno priviesť k nežiaducemu správaniu, či neuvádza nepravdivé fakty alebo nesprístupní údaje. Zistenia sa premietajú do lepších pokynov, filtrov a oprávnení. Bezpečnostný audit chatbota je jeho ľahšia forma: posudzuje konfiguráciu a vzorové konverzácie podľa známych rizikových oblastí, ako je OWASP Top 10 pre aplikácie LLM.

Bezpečnosť AI
Bezpečnostné testovanie
+1

Šablóna