La inyeccion de prompts se ha convertido en el riesgo numero uno de las aplicaciones basadas en grandes modelos de lenguaje (LLM), segun OWASP.
Que ocurrio
En este ataque, instrucciones maliciosas ocultas en el texto que procesa el modelo -un correo, una pagina web o un documento- consiguen que la IA ignore sus reglas, revele datos o ejecute acciones no deseadas. La variante indirecta, donde el contenido envenenado llega desde fuentes externas, es especialmente peligrosa en agentes con acceso a herramientas.
Por que importa
A medida que las empresas integran asistentes y agentes de IA con acceso a datos y sistemas, la superficie de ataque crece y exige nuevos controles.
Recomendaciones
- Tratar toda entrada externa al modelo como no confiable
- Limitar los permisos y herramientas que puede usar un agente
- Validar y filtrar las salidas antes de ejecutarlas
- Seguir el OWASP Top 10 para aplicaciones LLM
Fuente: OWASP Top 10 for LLM Applications.
Deja una respuesta