NVIDIA propone limitar qué pueden hacer los agentes de IA, no solo qué se les pide
NVIDIA sostiene que la seguridad de los agentes de IA debe basarse en restringir sus acciones posibles, no solo en las instrucciones que reciben. Según la empresa, un agente puede desviarse de lo indicado al usar herramientas y datos, por lo que hacen falta controles en cada capa de la pila. Para ello presenta NVIDIA OpenShell, un entorno de ejecución de código abierto que aísla los agentes y controla su acceso a archivos, red y sistema, y recomienda probar el comportamiento antes de desplegarlos en producción.
Fuentes
- ITmedia AI+ (JP)AIエージェントに「何を指示するか」より「何をさせないか」――NVIDIAが示す設計の原則