Investigadores de distintas universidades han analizado los riesgos de seguridad que presentan los modelos de lenguaje de gran tamaño (LLM) cuando se utilizan en sistemas de inteligencia artificial (IA) para toma de decisiones, especialmente en situaciones críticas de seguridad, como los sistemas de conducción autónoma y robots domésticos. Esta investigación presentó un marco integral denominado BALD, que examina los ataques de puerta trasera en estos sistemas, identificando tres mecanismos de ataque: inyección de palabras, manipulación de escenarios e inyección de conocimiento.

Los experimentos demostraron la eficacia de estos mecanismos, logrando tasas de éxito cercanas al 100% en simulaciones. Estos ataques permiten comportamientos peligrosos, como vehículos acelerando hacia obstáculos o robots realizando tareas inapropiadas al manipular escenarios físicos o suministrar información sesgada a los LLM. Sorprendentemente, los ataques de inyección de palabras y de conocimiento demostraron casi perfecta efectividad sin requerir un amplio acceso al sistema, y los ataques de manipulación de escenarios lograron más del 65% de éxito.

Los investigadores sometieron los modelos a diversas pruebas de defensa para evaluar su robustez, y los resultados resaltan que los LLMs son vulnerables a tales ataques. Estos hallazgos subrayan la importancia de desarrollar mecanismos de defensa más sofisticados para proteger a los sistemas autónomos, ya que los actuales tienen una capacidad limitada para detectar y mitigar estos ataques.

En conclusión, los sistemas de IA basados en LLM son eficientes en la toma de decisiones en una variedad de campos, pero todavía enfrentan serias amenazas de seguridad que deben abordarse para garantizar su segura implementación en aplicaciones del mundo real. Esta investigación resalta la urgente necesidad de mejorar la seguridad de estos sistemas para minimizar los riesgos potenciales de los ataques que puedan comprometer su funcionamiento o seguridad. La publicación de los resultados y el acceso al código pretenden fomentar más investigaciones para diseñar sistemas de IA más seguros y resistentes.