Un equipo de investigación de la Universidad de Waterloo ha presentado un estudio innovador que explora el robo de modelos de incrustación comercial, destacando la vulnerabilidad de estos modelos que, a pesar de operarse detrás de APIs, son susceptibles a ataques de apropiación. Empresas como OpenAI y Cohere, que ofrecen modelos de incrustación propietarios mediante APIs de pago, se enfrentan ahora a riesgos donde adversarios pueden replicar la efectividad de sus modelos con un costo inferior a 300,00 €.
El equipo diseñó modelos ladrón a través de pares de entrada y salida de texto-incrustación obtenidos de las APIs de OpenAI y Cohere, consiguiendo entrenar modelos estudiantes que imitan la efectividad de recuperación de los originales. Durante este proceso, se ha demostrado que es posible destilar de múltiples entrenadores a un solo modelo robusto, lo que ha abierto nuevas perspectivas en la creación de modelos compactos pero altamente efectivos sin conocer a fondo los detalles de inicio del modelo víctima. Los resultados mostraron que estos modelos robados mantuvieron una alta efectividad incluso en tareas de recuperación de dominio desconocido.
La metodología empleada en la investigación incluyó el uso de modelos BERT, incursionando en la distilación tanto desde modelos BERT y no-BERT, un factor clave que marcó diferencias entre la vulnerabilidad de los modelos de Cohere y OpenAI. Se identificó que Cohere, al basarse en un variante de BERT, facilitó su reproducción en comparación a OpenAI, cuyo modelo utiliza representaciones más complejas y diversas.
Los hallazgos apuntan a la necesidad de implementar medidas que mitiguen el riesgo de robo de modelos, destacando la importancia de no revelar detalles técnicos y de iniciación de los modelos a través de herramientas públicas. Además, se recomienda utilizar backbones menos predictibles para fortalecer la seguridad ante intentos de apropiación de modelos sobre API.
Este estudio no solo expone la problemática y la facilidad con la que pueden ser robados modelos de alto valor comercial, sino que también propone una vía para optimizar modelos de incrustación robustos combinando las fuerzas de múltiples modelos maestros. Así, los intentos por reforzar la protección ante ataques de robo de modelos en entornos de API son más que necesarios, tanto para proteger la propiedad intelectual como para mantener el liderazgo en un sector en rápida evolución.