Prompt injection: cómo se sobrescriben las instrucciones de un chatbot
El artículo explica la prompt injection, un ataque que introduce órdenes de un atacante en el texto que procesa un modelo de lenguaje para que actúe contra lo previsto por el desarrollador. Distingue la variante directa, en la que el usuario escribe la orden en el chat, y la indirecta, en la que la orden va oculta en datos externos como páginas web, correos, PDF o resultados de herramientas, sin que el usuario haga nada. Pone como ejemplo un chatbot de atención al cliente que revela su configuración (system prompt) y señala la indirecta como la más peligrosa. La OWASP la incluye en su Top 10 de aplicaciones LLM.
Fuentes
- #LLMタグAIチャットボットに「命令を上書き」される｜プロンプトインジェクション対策