LT
PrisijungtiPradėti
Terminų žodynas

Duomenų nutekinimas (data exfiltration)

Kas yra Duomenų nutekinimas (data exfiltration)?

Duomenų nutekinimas – tai neleistinas duomenų perkėlimas iš sistemos. DI taikomosiose programose jis gali įvykti, kai pokalbių robotas ar agentas, manipuliuojant specialiai sukurtais įvesties duomenimis ar paruoštu turiniu – pavyzdžiui, jo skaitomame tinklalapyje – priverčiamas atskleisti ar persiųsti konfidencialią informaciją. Apsauga apima minimalias prieigos teises, įvesties patikras, išeinančių ryšių apribojimus ir atsakymų stebėseną.

Kaip padeda KI.ordo

KI.ordo šablonas „DI ugniasienė“ gali būti pastatytas prieš agentą kaip subsrautas ir sulaiko užklausas, kuriomis bandoma, pavyzdžiui, išgauti sistemos nurodymus ar duomenis.

Sužinoti daugiau : Duomenų nutekinimas (data exfiltration)

Tinkami šablonai

Temos

  • DI saugumas
  • duomenų apsauga
  • užklausos injekcija (prompt injection)

Išbandykite KI.ordo

Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.

Pradėti demonstraciją
← Visi terminai

Susiję terminai

DI ugniasienė

DI ugniasienė – tai apsauginis sluoksnis tarp naudotojų, duomenų šaltinių ir DI modelio. Ji tikrina įvestį dėl manipuliavimo bandymų, tokių kaip užklausos injekcija ar jailbreak, ir prieš perduodama toliau tikrina išvestį, pavyzdžiui, dėl konfidencialių duomenų ar nepageidaujamo turinio. Ji gali naudoti taisykles, klasifikavimo modelius ar antrą kalbos modelį. DI ugniasienė mažina riziką, bet nesuteikia visiškos apsaugos ir nepakeičia nei ribotų leidimų, nei testavimo.

  • Saugumas
  • užklausos injekcija (prompt injection)
  • +1
Šablonas

Netiesioginė užklausos injekcija

Netiesioginės užklausos injekcijos (angl. indirect prompt injection) atveju manipuliuojantys nurodymai yra ne naudotojo įvestyje, o paslėpti turinyje, kurį DI sistema apdoroja pakeliui, pavyzdžiui, tinklalapiuose, el. laiškuose ar dokumentuose. Perskaitęs tokį turinį, agentas gali paslėptas komandas palaikyti tikromis užduotimis ir, pavyzdžiui, atskleisti duomenis. Apsaugos priemonės: išorinį turinį laikyti tik duomenimis, riboti leidimus, tikrinti įvestį ir reikalauti žmogaus patvirtinimo kritiniams veiksmams.

  • Saugumas
  • užklausos injekcija (prompt injection)
  • +1
Šablonas

Užklausų nutekėjimas

Užklausų nutekėjimas (angl. prompt leaking) – tai netyčinis vidinių DI sistemos nurodymų atskleidimas, pavyzdžiui, kai pokalbių robotas gudriai suformuluotą prašymą atsakydamas parodo savo sisteminį nurodymą. Tai tampa problema, jei tuose nurodymuose yra verslo logikos, vidinės informacijos ar net prisijungimo duomenų. OWASP sąrašas LLM programoms šią riziką įvardija aiškiai. Veiksmingiausia apsauga – rašyti nurodymus taip, tarsi jie galėtų tapti vieši, niekada juose nesaugoti paslapčių ir tikrinti taip pat ir išvestį.

  • DI saugumas
  • sisteminis nurodymas
  • +1
Šablonas

LLM sauga

LLM sauga apima visas priemones, saugančias didelių kalbos modelių pagrindu sukurtas programas nuo piktnaudžiavimo, duomenų nutekėjimo ir nepageidaujamo elgesio. Tipinė rizika: užklausos injekcija, konfidencialių nurodymų ar duomenų atskleidimas ir agentai su pernelyg dideliais leidimais. Apsauga kyla iš kelių sluoksnių: aiškių nurodymų, apribotų teisių, įvesties ir išvesties patikrų, DI ugniasienių, red teaming ir reguliarių auditų.

  • saugumas
  • kalbos modeliai
  • +1
Šablonas