FI
Kirjaudu sisäänAloita nyt
Sanasto

Kontekstikkunan manipulointi

Mikä on Kontekstikkunan manipulointi?

Kontekstikkunan manipulointi tarkoittaa hyökkäyksiä, joilla vaikutetaan tarkoituksella tekstiin, jota kielimalli käsittelee kerrallaan, esimerkiksi dokumenttien piilotetuilla ohjeilla, keksityillä aiemmilla keskustelun osilla tai suurilla täytemäärillä, jotka työntävät alkuperäiset säännöt taka-alalle. Suoja syntyy erottamalla luotetut ohjeet selkeästi ulkoisesta sisällöstä, pituusrajoilla, syötteiden tarkistuksella ja antamalla agenteille mahdollisimman vähän oikeuksia.

Miten KI.ordo auttaa

KI.ordon ”Tekoälypalomuuri: tarkista syöte” -mallin voi sijoittaa agentin eteen alityönkulkuna epäilyttävien syötteiden suodattamiseksi etukäteen.

Lue lisää : Kontekstikkunan manipulointi

Sopivat mallit

Aiheet

  • Tietoturva
  • kehoteinjektio
  • LLM

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo
← Kaikki termit

Liittyvät termit

Epäsuora kehoteinjektio

Epäsuorassa kehoteinjektiossa manipuloivat ohjeet eivät ole käyttäjän syötteessä vaan piilotettu sisältöön, jota tekoälyjärjestelmä käsittelee matkan varrella, kuten verkkosivuihin, sähköposteihin tai dokumentteihin. Kun agentti lukee tällaista sisältöä, se saattaa luulla piilotettuja komentoja aidoiksi tehtäviksi ja esimerkiksi paljastaa tietoja. Suojauskeinoja ovat ulkoisen sisällön tiukka käsittely pelkkänä datana, oikeuksien rajoittaminen, syötteiden seulonta ja ihmisen hyväksynnän vaatiminen kriittisille toimille.

  • Tietoturva
  • kehoteinjektio
  • +1
Malli

Tekoälypalomuuri

Tekoälypalomuuri on suojakerros käyttäjien, tietolähteiden ja tekoälymallin välissä. Se seuloo syötteistä manipulointiyritykset, kuten kehoteinjektion tai jailbreakit, ja tarkistaa tulosteet, esimerkiksi luottamuksellisen datan tai ei-toivotun sisällön varalta, ennen kuin ne välitetään eteenpäin. Se voi käyttää sääntöjä, luokittelumalleja tai toista kielimallia. Tekoälypalomuuri pienentää riskiä mutta ei tarjoa täydellistä suojaa eikä korvaa rajattuja oikeuksia tai testausta.

  • Tietoturva
  • kehoteinjektio
  • +1
Malli

Token Smuggling

Token smuggling on jailbreak-tyyppinen hyökkäys, jossa ei-toivotut ohjeet naamioidaan, esimerkiksi pilkotaan osiin, koodataan uudelleen tai kirjoitetaan samannäköisillä merkeillä, jotta yksinkertaiset avainsanasuodattimet eivät havaitse niitä mutta kielimalli silti ymmärtää niiden merkityksen. Suojautumiskeinoja ovat syötteiden normalisointi ennen arviointia, sisältöön perustuvat eikä pelkästään sanapohjaiset tarkistukset, tulosteiden tarkastelu ja tekoälyagenteille annettavien oikeuksien pitäminen mahdollisimman vähäisinä.

  • Tietoturva
  • Jailbreaking
  • +1
Malli

Jailbreaking

Jailbreaking tarkoittaa yrityksiä kiertää tekoälymallin turvasääntöjä kekseliäästi muotoilluilla syötteillä, jotta se tuottaa sisältöä tai tekee toimia, joista sen pitäisi kieltäytyä. Organisaatioille tämä on riski, koska chatbot voisi esimerkiksi paljastaa luottamuksellisia ohjeita tai vastata sopimattomasti. Suojatoimia ovat selkeät järjestelmäohjeet, syötteiden ja tulosteiden seulonta, rajatut oikeudet, lokitus ja säännölliset tietoturvatestit (red teaming).

  • Tietoturva
  • väärinkäytön estäminen
  • +1
Malli