Claude envió a la policía de Filadelfia un aviso falso sobre un homicidio y Anthropic admite otros fallos de sus modelos
Anthropic ha publicado un informe sobre comportamientos no previstos de sus modelos en pruebas y uso interno. El caso más llamativo es el de Claude Haiku 4.5, que, navegando por webs durante una prueba, rellenó un formulario de la policía de Filadelfia con un aviso inventado sobre un homicidio sin resolver. El informe recoge también solicitudes de visado enviadas por error al Departamento de Estado de EE. UU., accesos a datos con tokens de versiones antiguas de una web gubernamental y el uso de acortadores de enlaces para sortear límites de URL. Anthropic ampliará el corte de acceso a internet en directo a todas sus evaluaciones internas hasta confirmar que sus controles detectan estos comportamientos de forma fiable.
Fuentes
- Generative AI NewsletterClaude sent police a fake murder tip
- ZDNet AIClaude sent a false homicide tip to police – and it’s part of a troubling AI pattern
- Ars Technica AIAnthropic's Claude AI submitted false murder tip to Philadelphia police