AI v kybernetické bezpečnosti má dvě stránky. Na jedné straně techniky AI pomáhají rychleji odhalovat útoky, například zachycením anomálií v síťovém provozu, podezřelých přihlášení nebo phishingových e-mailů, a odlehčují bezpečnostním týmům při třídění upozornění. Na druhé straně je třeba chránit samotné systémy AI, například před prompt injection nebo únikem dat. AI je zde účinná jen v kombinaci s jasnými procesy, aktuálními systémy a vyškolenými lidmi.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoDetekce anomálií hledá datové body, události nebo vzorce, které se výrazně liší od normálu. Může jít o neobvykle vysoké transakce, náhlé skoky v hodnotách senzorů, duplicitní záznamy nebo podezřelou aktivitu v síti. Využívá se ve financích, IT bezpečnosti, výrobě a kontrole kvality. Metody sahají od jednoduchých statistických prahů po učící se modely; nálezy jsou indicie, které by měl posoudit člověk.
Bezpečnost LLM zahrnuje všechna opatření, která chrání aplikace postavené na velkých jazykových modelech před zneužitím, únikem dat a nežádoucím chováním. Typická rizika zahrnují prompt injection, vyzrazení důvěrných pokynů nebo dat a agenty s nadměrnými oprávněními. Ochrana vychází z několika vrstev: jasné pokyny, omezená práva, kontroly vstupů a výstupů, AI firewally, red teaming a pravidelné audity.
Penetrační test AI je objednané, řízené bezpečnostní posouzení, při němž specialisté záměrně hledají slabiny systému AI, například prompt injection, únik důvěrných dat nebo agenta s nadměrnými oprávněními. Na rozdíl od širšího red teamingu se zaměřuje na jasně vymezený rozsah s dokumentovanými zjištěními a nápravnými opatřeními. Vyplatí se provést před spuštěním chatbota a po zásadních změnách.
AI red teaming je strukturované prověřování AI systému z pohledu potenciálních útočníků nebo zneužití. Specialisté kontrolovaně testují, zda chatbot neprozradí důvěrné pokyny, zda ho nelze přimět k nežádoucímu chování, zda neuvádí nepravdivá fakta nebo neodhaluje data. Zjištění pak slouží ke zlepšení pokynů, filtrů a oprávnění. Bezpečnostní audit chatbota je jeho lehčí formou: posuzuje konfiguraci a ukázkové konverzace podle známých rizikových oblastí, jako je OWASP Top 10 pro aplikace LLM.
