DI kibernetiniame saugume turi dvi puses. Viena vertus, DI metodai padeda greičiau aptikti atakas, pavyzdžiui, pastebint tinklo srauto anomalijas, įtartinus prisijungimus ar sukčiavimo el. laiškus, ir palengvina saugumo komandų darbą rūšiuojant įspėjimus. Kita vertus, pačias DI sistemas reikia saugoti, pavyzdžiui, nuo užklausos injekcijos ar duomenų nutekėjimo. DI čia veiksmingas tik kartu su aiškiais procesais, atnaujintomis sistemomis ir apmokytais žmonėmis.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąAnomalijų aptikimas randa duomenų taškus, įvykius ar dėsningumus, kurie gerokai skiriasi nuo normos. Tai gali būti neįprastai didelės operacijos, staigūs jutiklių rodmenų šuoliai, pasikartojantys įrašai ar įtartina veikla tinkle. Jis naudojamas finansuose, IT saugume, gamyboje ir kokybės kontrolėje. Metodai svyruoja nuo paprastų statistinių ribų iki besimokančių modelių; radiniai yra požymiai, kuriuos turėtų įvertinti žmogus.
LLM sauga apima visas priemones, saugančias didelių kalbos modelių pagrindu sukurtas programas nuo piktnaudžiavimo, duomenų nutekėjimo ir nepageidaujamo elgesio. Tipinė rizika: užklausos injekcija, konfidencialių nurodymų ar duomenų atskleidimas ir agentai su pernelyg dideliais leidimais. Apsauga kyla iš kelių sluoksnių: aiškių nurodymų, apribotų teisių, įvesties ir išvesties patikrų, DI ugniasienių, red teaming ir reguliarių auditų.
DI skverbties testas – tai užsakytas, kontroliuojamas saugumo vertinimas, kurio metu specialistai tyčia ieško DI sistemos silpnų vietų, pavyzdžiui, užklausos injekcijos, konfidencialių duomenų nutekėjimo ar pernelyg didelių leidimų turinčio agento. Skirtingai nei platesnis red teaming, jis sutelkiamas į aiškiai apibrėžtą apimtį su dokumentuotais radiniais ir taisomosiomis priemonėmis. Jį verta atlikti prieš paleidžiant pokalbių robotą ir po didesnių pakeitimų.
DI raudonoji komanda (red teaming) – tai struktūruotas DI sistemos tyrimas iš galimų užpuolikų ar piktnaudžiavimo perspektyvos. Specialistai kontroliuojamai tikrina, ar pokalbių robotas neatskleidžia konfidencialių nurodymų, ar jo negalima priversti elgtis nepageidaujamai, ar jis nepateikia klaidingų faktų ir neatskleidžia duomenų. Išvados padeda pagerinti nurodymus, filtrus ir leidimus. Pokalbių roboto saugumo auditas yra lengvesnė forma: jis vertina konfigūraciją ir pavyzdinius pokalbius pagal žinomas rizikos sritis, pavyzdžiui, OWASP Top 10 LLM programoms.
