Glosario

Aprendizaje automático adversario

¿Qué es Aprendizaje automático adversario?

El aprendizaje automático adversario (adversarial machine learning) estudia cómo los modelos de IA pueden ser engañados mediante entradas o datos de entrenamiento manipulados a propósito, y cómo protegerlos. Ejemplos conocidos son cambios casi invisibles en una imagen que alteran su clasificación o datos de entrenamiento envenenados. El tema es relevante para las empresas en cuanto la IA apoya decisiones críticas para la seguridad. Entre las defensas están el entrenamiento robusto, la validación de entradas, la supervisión y las pruebas de seguridad periódicas.

Temas

Seguridad de la IA
Robustez
Protección

Probar KI.ordo

Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.

Iniciar demo

← Todos los términos

Términos relacionados

Robustez de modelos

La robustez de un modelo describe lo fiable que es un modelo de IA cuando las entradas tienen ruido, están incompletas, son inusuales o se han manipulado a propósito. Un modelo robusto ofrece igualmente resultados estables, por ejemplo un reconocimiento de imágenes con poca luz o un modelo de lenguaje ante erratas. Se comprueba con pruebas de estrés, datos de entrenamiento variados y ensayos frente a intentos de engaño, y es clave en aplicaciones críticas para la seguridad.

fiabilidad
calidad del modelo
+1

Red teaming de IA

El red teaming de IA es la evaluación estructurada de un sistema de IA desde la perspectiva de posibles atacantes o usos indebidos. Especialistas comprueban de forma controlada si un chatbot revela instrucciones confidenciales, adopta comportamientos no deseados, da datos falsos o expone información; los hallazgos mejoran instrucciones, filtros y permisos. Una auditoría de seguridad de chatbot es una variante más ligera, basada en áreas de riesgo conocidas como el OWASP Top 10 para aplicaciones LLM.

Seguridad de la IA
Pruebas de seguridad
+1

Plantilla

Seguridad de LLM

La seguridad de LLM abarca todas las medidas que protegen las aplicaciones basadas en grandes modelos de lenguaje frente a abusos, fugas de datos y comportamientos no deseados. Riesgos típicos son la inyección de prompts, la revelación de instrucciones o datos confidenciales y agentes con permisos excesivos. La protección se construye en varias capas: instrucciones claras, derechos limitados, control de entradas y salidas, cortafuegos de IA, red teaming y auditorías periódicas.

seguridad
modelos de lenguaje
+1

Plantilla

Datos de entrenamiento

Los datos de entrenamiento son los ejemplos con los que un modelo de IA aprende patrones: grandes colecciones de texto en los modelos de lenguaje, imágenes etiquetadas en los de visión. Su calidad, variedad y actualidad determinan en gran medida lo fiable y justo que será el modelo y lo actualizado que estará su conocimiento. Para tu empresa también importa si un proveedor usa los datos de clientes que introduces para seguir entrenando.

Datos
Entrenamiento
+1