La seguridad en la cadena de suministro de la inteligencia artificial ha recibido un duro golpe según un reciente estudio difundido por UNSW Sydney, CSIRO Data61 y otras instituciones. Esta investigación, que se centra en la plataforma Hugging Face, revela graves vulnerabilidades en los archivos de configuración usados para iniciar modelos de IA. Estas configuraciones, que suelen establecer parámetros y ajustes iniciales, podrían ser utilizadas para ejecutar código no autorizado, planteando serios riesgos de seguridad.
Los investigadores identificaron tres escenarios principales de ataque. El primer escenario contempla operaciones en archivos, donde las configuraciones podrían facilitar la carga o ejecución de archivos dañinos. El segundo abarca operaciones en sitios web, donde las configuraciones podrían redirigir a los usuarios a sitios maliciosos exponiendo su información. Y en el último caso, las operaciones en repositorios podrían manipular identidades de repositorio para redirigir a usuarios a modelos maliciosos.
Para mitigar estos riesgos, se ha desarrollado CONFIGSCAN, una herramienta basada en modelos de lenguaje que se encarga de analizar archivos de configuración en el contexto de su código de tiempo de ejecución. CONFIGSCAN detecta elementos potencialmente peligrosos con una baja tasa de falsos positivos, aumentando la precisión en la detección de amenazas.
La evaluación de esta herramienta, aplicada a una muestra de 1,000 repositorios de Hugging Face, reveló la presencia de archivos de configuración sospechosos que no habían sido detectados por métodos anteriores basados en reglas. Estos archivos contenían referencias y elementos no autorizados que podrían generar brechas de seguridad significativas.
Con estos hallazgos, los investigadores resaltan la necesidad urgente de realizar evaluaciones de seguridad más rigurosas en las plataformas de hospedaje de modelos de IA, como Hugging Face, dado que estos riesgos no solo afectan la integridad de los modelos sino que también pueden comprometer sistemas enteros.
Este estudio subraya la importancia de prestar atención a la seguridad de los elementos periféricos de los modelos, como los archivos de configuración, que a menudo pasan desapercibidos mientras que la atención se centra generalmente en el código AI en sí. Con la herramienta CONFIGSCAN, se espera que el análisis de tales archivos sea más efectivo, salvaguardando la seguridad de una amplia gama de aplicaciones de IA en crecimiento.