Речник

Състезателно машинно обучение

Какво е Състезателно машинно обучение?

Състезателното машинно обучение (adversarial machine learning) изследва как ИИ моделите могат да бъдат подведени чрез умишлено манипулирани входни или обучителни данни – и как да бъдат защитени. Известни примери са едва забележими промени в изображения, които обръщат класификацията, или отровени обучителни данни. Темата е важна за организациите веднага щом ИИ подпомага решения, свързани със сигурността. Мерките за защита включват устойчиво обучение, проверка на входните данни, наблюдение и редовни тестове за сигурност.

Теми

Сигурност на ИИ
Устойчивост
Защита от заплахи

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото

← Всички термини

Свързани термини

Устойчивост на модела

Устойчивостта на модела описва доколко надеждно работи моделът с ИИ, когато входните данни са шумни, непълни, необичайни или умишлено манипулирани. Устойчивият модел все пак дава стабилни резултати, например при разпознаване на изображения при лошо осветление или когато езиков модел се справя с правописни грешки. Устойчивостта се оценява чрез стрес тестове, разнообразни данни за обучение и тестове срещу умишлени опити за заблуда и е особено важна при критични за безопасността приложения.

надеждност
качество на модела
+1

ИИ ред тийминг

ИИ ред тийминг е структурираното изследване на ИИ система от гледна точка на потенциални нападатели или злоупотреба. Специалисти проверяват контролирано дали чатботът разкрива поверителни инструкции, дали може да бъде подтикнат към нежелано поведение, дали дава неверни факти или излага данни. Констатациите водят до по-добри инструкции, филтри и права. Одитът на сигурността на чатбот е по-лека форма: той оценява конфигурацията и примерни разговори спрямо известни рискови области като OWASP Top 10 за LLM приложения.

Сигурност на ИИ
Тестове за сигурност
+1

Шаблон

сигурност на LLM

Сигурността на LLM обхваща всички мерки, които защитават приложенията, изградени върху големи езикови модели, от злоупотреби, изтичане на данни и нежелано поведение. Типични рискове са промпт инжекция, разкриване на поверителни инструкции или данни и агенти с прекомерни права. Защитата идва от няколко слоя: ясни инструкции, ограничени права, проверка на входните и изходните данни, ИИ защитни стени, red teaming и редовни одити.

сигурност
езикови модели
+1

Шаблон

Данни за обучение

Данните за обучение са примерите, от които моделът с ИИ научава закономерности: големи текстови колекции за езиковите модели, изображения с етикети за моделите за изображения. Качеството, разнообразието и актуалността им до голяма степен определят колко надежден и справедлив е моделът и колко актуални ще са знанията му. За организациите е важно и дали доставчикът използва въведените от клиентите данни за по-нататъшно обучение.

Данни
Training
+1