Sanasto

Jailbreaking

Mikä on Jailbreaking?

Jailbreaking tarkoittaa yrityksiä kiertää tekoälymallin turvasääntöjä kekseliäästi muotoilluilla syötteillä, jotta se tuottaa sisältöä tai tekee toimia, joista sen pitäisi kieltäytyä. Organisaatioille tämä on riski, koska chatbot voisi esimerkiksi paljastaa luottamuksellisia ohjeita tai vastata sopimattomasti. Suojatoimia ovat selkeät järjestelmäohjeet, syötteiden ja tulosteiden seulonta, rajatut oikeudet, lokitus ja säännölliset tietoturvatestit (red teaming).

Miten KI.ordo auttaa

KI.ordon valmiit mallit tekoälypalomuuriin ja chatbotin tietoturvatarkastukseen auttavat havaitsemaan epäilyttäviä syötteitä ja tarkistamaan omien agenttiesi ohjeiden heikkouksia.

Lue lisää : Jailbreaking

Aiheet

  • Tietoturva
  • väärinkäytön estäminen
  • LLM

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo
← Kaikki termit

Liittyvät termit

Epäsuora kehoteinjektio

Epäsuorassa kehoteinjektiossa manipuloivat ohjeet eivät ole käyttäjän syötteessä vaan piilotettu sisältöön, jota tekoälyjärjestelmä käsittelee matkan varrella, kuten verkkosivuihin, sähköposteihin tai dokumentteihin. Kun agentti lukee tällaista sisältöä, se saattaa luulla piilotettuja komentoja aidoiksi tehtäviksi ja esimerkiksi paljastaa tietoja. Suojauskeinoja ovat ulkoisen sisällön tiukka käsittely pelkkänä datana, oikeuksien rajoittaminen, syötteiden seulonta ja ihmisen hyväksynnän vaatiminen kriittisille toimille.

  • Tietoturva
  • kehoteinjektio
  • +1
Malli

Tekoälypalomuuri

Tekoälypalomuuri on suojakerros käyttäjien, tietolähteiden ja tekoälymallin välissä. Se seuloo syötteistä manipulointiyritykset, kuten kehoteinjektion tai jailbreakit, ja tarkistaa tulosteet, esimerkiksi luottamuksellisen datan tai ei-toivotun sisällön varalta, ennen kuin ne välitetään eteenpäin. Se voi käyttää sääntöjä, luokittelumalleja tai toista kielimallia. Tekoälypalomuuri pienentää riskiä mutta ei tarjoa täydellistä suojaa eikä korvaa rajattuja oikeuksia tai testausta.

  • Tietoturva
  • kehoteinjektio
  • +1
Malli

Tekoälyn red teaming

Tekoälyn red teaming on tekoälyjärjestelmän jäsennelty tarkastelu mahdollisten hyökkääjien tai väärinkäytön näkökulmasta. Asiantuntijat testaavat hallitusti, paljastaako chatbot luottamuksellisia ohjeita, voiko sen johdattaa ei-toivottuun käytökseen, antaako se vääriä faktoja tai paljastaako se tietoja. Havainnot hyödynnetään parempina kehotteina, suodattimina ja käyttöoikeuksina. Chatbotin tietoturva-auditointi on kevyempi muoto: siinä arvioidaan konfiguraatiota ja esimerkkikeskusteluja tunnettuja riskialueita vasten, kuten LLM-sovellusten OWASP Top 10 -listaa.

  • Tekoälyn tietoturva
  • Tietoturvatestaus
  • +1
Malli

Järjestelmäkehotteen poiminta

Järjestelmäkehotteen poiminta (system prompt extraction) tarkoittaa yrityksiä saada chatbot tai tekoälyagentti paljastamaan piilotetut järjestelmäohjeensa. Jos yritys onnistuu, lopputulosta kutsutaan kehotteen vuotamiseksi: poiminta on hyökkäys, vuoto sen seuraus. Tehokas suojaus alkaa siitä, että salasanat, avaimet ja luottamukselliset säännöt pidetään poissa ohjeista ja oletetaan niiden voivan tulla julkisiksi; syötteiden tarkistus ja säännöllinen testaus lisäävät suojaa.

  • Tietoturva
  • Kehotteen vuotaminen
  • +1
Malli