Terminų žodynas

LLM sauga

Kas yra LLM sauga?

LLM sauga apima visas priemones, saugančias didelių kalbos modelių pagrindu sukurtas programas nuo piktnaudžiavimo, duomenų nutekėjimo ir nepageidaujamo elgesio. Tipinė rizika: užklausos injekcija, konfidencialių nurodymų ar duomenų atskleidimas ir agentai su pernelyg dideliais leidimais. Apsauga kyla iš kelių sluoksnių: aiškių nurodymų, apribotų teisių, įvesties ir išvesties patikrų, DI ugniasienių, red teaming ir reguliarių auditų.

Kaip padeda KI.ordo

KI.ordo vaidmenys nuo peržiūrėtojo iki savininko nustato, kas gali keisti agentus ir žinias, pakeitimų žurnalas leidžia atsekti redagavimus, o pokalbių roboto saugumo audito šablonas padeda atlikti peržiūras.

Sužinoti daugiau : LLM sauga

Temos

  • saugumas
  • kalbos modeliai
  • rizikos valdymas

Išbandykite KI.ordo

Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.

Pradėti demonstraciją
← Visi terminai

Susiję terminai

DI ugniasienė

DI ugniasienė – tai apsauginis sluoksnis tarp naudotojų, duomenų šaltinių ir DI modelio. Ji tikrina įvestį dėl manipuliavimo bandymų, tokių kaip užklausos injekcija ar jailbreak, ir prieš perduodama toliau tikrina išvestį, pavyzdžiui, dėl konfidencialių duomenų ar nepageidaujamo turinio. Ji gali naudoti taisykles, klasifikavimo modelius ar antrą kalbos modelį. DI ugniasienė mažina riziką, bet nesuteikia visiškos apsaugos ir nepakeičia nei ribotų leidimų, nei testavimo.

  • Saugumas
  • užklausos injekcija (prompt injection)
  • +1
Šablonas

DI raudonoji komanda

DI raudonoji komanda (red teaming) – tai struktūruotas DI sistemos tyrimas iš galimų užpuolikų ar piktnaudžiavimo perspektyvos. Specialistai kontroliuojamai tikrina, ar pokalbių robotas neatskleidžia konfidencialių nurodymų, ar jo negalima priversti elgtis nepageidaujamai, ar jis nepateikia klaidingų faktų ir neatskleidžia duomenų. Išvados padeda pagerinti nurodymus, filtrus ir leidimus. Pokalbių roboto saugumo auditas yra lengvesnė forma: jis vertina konfigūraciją ir pavyzdinius pokalbius pagal žinomas rizikos sritis, pavyzdžiui, OWASP Top 10 LLM programoms.

  • DI saugumas
  • Saugumo testavimas
  • +1
Šablonas

Netiesioginė užklausos injekcija

Netiesioginės užklausos injekcijos (angl. indirect prompt injection) atveju manipuliuojantys nurodymai yra ne naudotojo įvestyje, o paslėpti turinyje, kurį DI sistema apdoroja pakeliui, pavyzdžiui, tinklalapiuose, el. laiškuose ar dokumentuose. Perskaitęs tokį turinį, agentas gali paslėptas komandas palaikyti tikromis užduotimis ir, pavyzdžiui, atskleisti duomenis. Apsaugos priemonės: išorinį turinį laikyti tik duomenimis, riboti leidimus, tikrinti įvestį ir reikalauti žmogaus patvirtinimo kritiniams veiksmams.

  • Saugumas
  • užklausos injekcija (prompt injection)
  • +1
Šablonas

OWASP LLM Top 10

OWASP Top 10 for LLM Applications – svarbiausių saugumo rizikų, kylančių programoms, sukurtoms su dideliais kalbos modeliais, sąrašas, kurį skelbia OWASP GenAI Security Project. Dabartinis 2026 m. leidimas pasirodė 2026 m. rugpjūtį (2026 m. spalio mėn. duomenimis) ir apima: užklausų injekciją, jautrios informacijos atskleidimą, pernelyg didelius įgaliojimus, tiekimo grandinę, duomenų ir modelio užnuodijimą, neribotą išteklių naudojimą, dezinformaciją, paslėpto konteksto atskleidimą, vektorių ir įterpinių silpnybes bei netinkamą išvesties tvarkymą. Jis tarnauja kaip kontrolinis sąrašas kūrimui ir auditams.

  • saugumas
  • standartas
  • +1
Šablonas