LV
PieteiktiesSākt tagad
Glosārijs

MI sarkanā komanda (red teaming)

Kas ir MI sarkanā komanda (red teaming)?

MI sarkanā komanda (red teaming) ir strukturēta MI sistēmas pārbaude no potenciālu uzbrucēju vai ļaunprātīgas izmantošanas skatpunkta. Speciālisti kontrolēti pārbauda, vai tērzēšanas robots atklāj konfidenciālus norādījumus, vai to var pamudināt uz nevēlamu uzvedību, vai tas sniedz nepatiesus faktus vai atklāj datus. Konstatējumi palīdz uzlabot norādījumus, filtrus un atļaujas. Tērzēšanas robota drošības audits ir vieglāka forma: tas novērtē konfigurāciju un sarunu piemērus pret zināmām riska jomām, piemēram, OWASP Top 10 LLM lietojumprogrammām.

Kā palīdz KI.ordo

KI.ordo veidne „Tērzēšanas robota drošības audits” novērtē norādījumus un sarunu piemērus pret OWASP riska jomām un iesaka nekaitīgus paštesta jautājumus; tā neaizstāj speciālistu veiktu visaptverošu red teaming.

Uzzināt vairāk : MI sarkanā komanda (red teaming)

Atbilstošas veidnes

Tēmas

  • MI drošība
  • Drošības testēšana
  • Chatbot

Izmēģiniet KI.ordo

Aģenti, plūsmas un veidnes vienā darbvietā – bezmaksas 24 stundu demo.

Sākt demo
← Visi termini

Saistītie termini

Tērzēšanas robota drošības audits

Tērzēšanas robota drošības audits ir strukturēta pārbaude, vai MI tērzēšanas robots pietiekami aizsargā konfidenciālus datus, savus iekšējos norādījumus un savas darbības atļaujas. Tiek pārbaudīta, cita starpā, uzņēmība pret uzvedņu injekciju, neparedzēta informācijas izpaušana un pārāk plaša piekļuve rīkiem – bieži vadoties pēc OWASP Top 10 LLM lietojumprogrammām. Rezultāts ir ziņojums ar novērtējumu katrai riska jomai un konkrētiem pasākumiem.

  • drošība
  • audits
  • +1
Veidne

OWASP LLM Top 10

OWASP Top 10 lielo valodas modeļu lietojumprogrammām ir svarīgāko drošības risku saraksts lietojumprogrammās, kas balstītas uz lielajiem valodas modeļiem, ko publicējis OWASP GenAI Security Project. Pašreizējais 2026. gada izdevums iznāca 2026. gada augustā (stāvoklis uz 2026. gada oktobri) un aptver: uzvednes injekciju, sensitīvas informācijas izpaušanu, pārmērīgu aģenta rīcības brīvību, piegādes ķēdi, datu un modeļu saindēšanu, neierobežotu resursu patēriņu, dezinformāciju, slēpta konteksta atklāšanu, vektoru un iegultņu vājās vietas un nepareizu izvaddatu apstrādi. Tas kalpo kā kontrolsaraksts izstrādei un auditiem.

  • drošība
  • standarts
  • +1
Veidne

MI penetrācijas testēšana

MI penetrācijas tests ir pasūtīts, kontrolēts drošības novērtējums, kurā speciālisti apzināti meklē MI sistēmas vājās vietas, piemēram, uzvedņu injekciju, konfidenciālu datu noplūdi vai aģentu ar pārmērīgām atļaujām. Atšķirībā no plašākas red teaming prakses tas koncentrējas uz skaidri definētu apjomu ar dokumentētiem konstatējumiem un risinājumiem. To vērts veikt pirms tērzēšanas robota palaišanas un pēc lielām izmaiņām.

  • Drošība
  • Novērtējums
  • +1
Veidne

LLM drošība

LLM drošība aptver visus pasākumus, kas aizsargā uz lielajiem valodas modeļiem balstītas lietojumprogrammas pret ļaunprātīgu izmantošanu, datu noplūdi un nevēlamu uzvedību. Tipiski riski ir uzvedņu injekcija, konfidenciālu norādījumu vai datu izpaušana un aģenti ar pārmērīgām atļaujām. Aizsardzību nodrošina vairāki slāņi: skaidri norādījumi, ierobežotas tiesības, ievaddatu un izvaddatu pārbaudes, MI ugunsmūri, red teaming un regulāri auditi.

  • drošība
  • valodas modeļi
  • +1
Veidne