En un avance sorprendente, un grupo de investigadores ha revelado el potencial peligroso del data poisoning en el aprendizaje en contexto (ICL), utilizado por los modelos de lenguaje de gran tamaño (LLMs) para adaptarse a nuevas tareas con ejemplos proporcionados sin modificar sus parámetros de modelo. Este estudio, llevado a cabo por un equipo de expertos de la Universidad Estatal de Michigan, la Universidad de Arizona y el Instituto de Ciencia y Tecnología de Okinawa, examina cómo las perturbaciones discretas en el texto pueden comprometer significativamente la eficacia de ICL, lo que plantea preocupaciones serias sobre su seguridad y fiabilidad.

El método innovador llamado ICLPoison ha sido introducido como una técnica de ataque diseñada específicamente para explotar las vulnerabilidades únicas de ICL al distorsionar los estados internos de los LLMs. Los experimentos demostraron que el desempeño de los ICL puede reducirse hasta en un 10% en precisión, incluso en modelos avanzados como el GPT-4.

El equipo de investigación identificó tres estrategias representativas de ataques, evaluadas en diversos modelos y tareas, mostrando que los ataques de envenenamiento de datos de este tipo pueden ser imperceptibles para los usuarios humanos pero sumamente disruptivos para el proceso de aprendizaje.

Estos hallazgos son cruciales, ya que los LLMs y el ICL se utilizan en sistemas médicos para tareas que incluyen diagnósticos y cálculos de costos. Esto abre el debate sobre cómo algunos proveedores de salud pueden potencialmente manipular registros electrónicos para obtener mayores ingresos, exponiendo la necesidad de establecer mecanismos de defensa mejorados.

Con el desarrollo continuo de LLMs, las comunidades científicas y tecnológicas deben priorizar la seguridad y confiabilidad de estos sistemas para proteger su integridad frente a ataques en los datos de entrenamiento y sintonización, asegurando que su aplicación en campos críticos sea segura y eficiente.