ES
Iniciar sesiónEmpezar
Glosario

Manipulación de la ventana de contexto

¿Qué es Manipulación de la ventana de contexto?

La manipulación de la ventana de contexto designa ataques que influyen deliberadamente en el texto que un modelo de lenguaje procesa a la vez, por ejemplo con instrucciones ocultas en documentos, partes anteriores de la conversación inventadas o grandes cantidades de relleno que dejan en segundo plano las reglas originales. Te proteges separando claramente las instrucciones de confianza del contenido externo, limitando la longitud, revisando las entradas y dando a los agentes los mínimos permisos posibles.

Cómo ayuda KI.ordo

La plantilla de KI.ordo «Cortafuegos de IA: revisar entrada» puede colocarse como subflujo delante de un agente para descartar de antemano entradas sospechosas.

Más información →: Manipulación de la ventana de contexto

Plantillas adecuadas

Temas

  • Seguridad
  • Inyección de prompts
  • LLM

Probar KI.ordo

Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.

Iniciar demo
← Todos los términos

Términos relacionados

Inyección de prompt indirecta

En una inyección de prompt indirecta, las instrucciones manipuladoras no están en lo que escribe el usuario, sino ocultas en contenidos que el sistema de IA procesa por el camino, como páginas web, correos o documentos. Al leerlos, un agente puede tomar órdenes ocultas por tareas reales y, por ejemplo, revelar datos. Para protegerte conviene tratar el contenido externo estrictamente como datos, limitar permisos, revisar las entradas y exigir aprobación humana para acciones críticas.

  • Seguridad
  • Inyección de prompt
  • +1
Plantilla

Cortafuegos de IA

Un cortafuegos de IA es una capa de protección entre los usuarios, las fuentes de datos y un modelo de IA. Revisa las entradas en busca de intentos de manipulación, como la inyección de prompts o el jailbreak, y controla las salidas, por ejemplo para detectar datos confidenciales o contenido no deseado, antes de entregarlas. Puede basarse en reglas, modelos de clasificación o un segundo modelo de lenguaje. Reduce riesgos, pero no ofrece protección total ni sustituye a los permisos limitados y las pruebas.

  • Seguridad
  • Inyección de prompts
  • +1
Plantilla

Token smuggling

El token smuggling es una forma de jailbreaking en la que se camuflan instrucciones no deseadas, por ejemplo troceándolas, recodificándolas o usando caracteres de aspecto similar, para que los filtros de palabras clave simples no las detecten aunque el modelo de lenguaje sí entienda su sentido. Para protegerte: normaliza las entradas antes de evaluarlas, usa controles basados en el contenido y no solo en palabras, revisa las salidas y concede a los agentes de IA los mínimos permisos posibles.

  • Seguridad
  • Jailbreaking
  • +1
Plantilla

Jailbreaking

El jailbreaking son intentos de eludir las reglas de seguridad de un modelo de IA mediante entradas formuladas con astucia, para que genere contenidos o realice acciones que debería rechazar. Para una empresa supone un riesgo, porque un chatbot podría, por ejemplo, revelar instrucciones confidenciales o responder de forma inadecuada. Entre las medidas de protección están unas instrucciones de sistema claras, el filtrado de entradas y salidas, permisos limitados, el registro de actividad y pruebas de seguridad periódicas (red teaming).

  • Seguridad
  • Prevención de abusos
  • +1
Plantilla