Solo noticias

y ya

martes 3 de de 2025

La Vulnerabilidad de los Modelos de Texto Personalizado

La evolución de los modelos de lenguaje generativo personalizables ha abierto la posibilidad de crear mensajes engañosamente auténticos, planteando preocupaciones sobre la integridad y seguridad online. El Instituto de Ciencia y Tecnología de Austria ha publicado un documento que expone los riesgos emergentes de esta tecnología, que puede replicar fielmente el estilo de escritura de cualquier individuo usando datos personales para ajustarse a sus necesidades específicas.

Gracias a los recientes avances, como el ajuste fino de parámetros de bajo costo, cualquiera con hardware de consumo puede entrenar y ejecutar estos modelos, potenciando el uso de técnicas como la personalización de estilo. Modelos como Llama y Phi, cuyas configuraciones están disponibles públicamente, amplifican esta problemática al permitir a los usuarios corregir modelos de lenguaje con sus propios datos a precios accesibles. Esto facilita que personas malintencionadas creen correos electrónicos de phishing o cuentas sociales falsas realistas.

Ejemplos como la creación de correos engañosos, obtenidos al afinar modelos de Llama usando datos del conjunto ENRON, subrayan esta realidad. Con un GPU como la NVIDIA GeForce RTX 4080, por ejemplo, es posible entrenar un modelo personalizado en pocas horas. Así, delitos online como el spear phishing encuentran un nuevo potencial, al imitar con mayor precisión a remitentes conocidos y engañar a receptores desprevenidos.

Científicos han puesto sobre la mesa las amenazas adicionales que podría generar la personalización del texto generado, que introduce riesgos distintivos respecto a los ataques deepfake más conocidos, como los de imagen o video. Ante este escenario, es preocupante que tanto la comunidad de investigación científica como las normativas legales actuales no aborden convenientemente estas amenazas emergentes.

Además, los métodos para detectar el texto generado por AI han resultado deficientes frente a los modelos personalizados, que pueden evadir fácilmente las herramientas de detección convencionales. Herramientas como Copyleaks han fallado al identificar textos de modelos afinados, enfatizando la sofisticación progresiva de estas amenazas, agudizada aún más por la facilidad de implementar estos modelos sin supervisión ética adecuada.

En conclusión, enfrentamos un desafío notable. A medida que estas tecnologías se despliegan es imprescindible desarrollar una legislación más clara y fomentar un entorno de investigación que no sólo progrese en técnicas de IA generativa, sino que también fortalezca los mecanismos de protección y autenticidad para salvaguardar a la sociedad de posibles abusos.