Sonidos indetectables pueden engañar a tus asistentes de IA
Imagina que estás escuchando un podcast o viendo un vídeo en YouTube, y sin que te des cuenta, un sonido indetectable para el oído humano comienza a sonar. Este sonido no es música ni voz, sino una serie de instrucciones ocultas que pueden engañar a tus asistentes de IA.
Un equipo de investigadores de China y Singapur ha descubierto una forma de crear sonidos maliciosos que pueden 'secuestrar' modelos de IA de voz. Estos sonidos pueden hacer que tus asistentes de IA ejecuten órdenes sin que te enteres, compartan datos sensibles o incluso instalen malware.
¿Cómo funciona este ataque?
Los investigadores han encontrado que los grandes modelos de audio-lenguaje tienen un fallo de seguridad crítico. Debido a que reciben instrucciones en formato de audio, es posible inyectar órdenes maliciosas en sonidos manipulados. Estos sonidos no son voces con instrucciones, sino que utilizan un método llamado 'mezcla convolucional' que hace que el sonido se haga pasar por una reverberación o eco natural de la habitación.
El ataque es indetectable para el oído humano, lo que significa que no te darás cuenta de que algo está sucediendo. Los investigadores probaron esta técnica contra trece modelos de IA, incluyendo servicios de Microsoft y Mistral, y lograron una tasa de éxito de entre el 79 y el 96%.
¿Qué pueden hacer estos sonidos maliciosos?
Los sonidos maliciosos pueden hacer que tus asistentes de IA realicen acciones como buscar información sensible, enviar correos electrónicos con información del usuario o descargar archivos. Todo esto sin que te enteres.
¿Cómo podemos protegernos?
De momento, este tipo de ataque solo se ha podido llevar a cabo con modelos de pesos abiertos. Sin embargo, los investigadores han visto que una vez entrenado el audio malicioso, es posible transferirlo para vulnerar modelos cerrados. Microsoft ha declarado que está trabajando en desarrollar resiliencia en sus modelos de IA y ofrecer herramientas y orientación a los desarrolladores para implementar capas adicionales de protección.