La evolución de los modelos de lenguaje grande (LLM, por sus siglas en inglés) ha supuesto un fenómeno sin precedentes en el ámbito de la generación de texto. Tal es el poder de herramientas como ChatGPT y Gemini que incluso son capaces de retener información sensible durante el proceso de entrenamiento, presentando un dilema ético para los desarrolladores. Ante este reto, se ha desarrollado una técnica emergente: el “desaprendizaje” de máquinas. Este nuevo enfoque ofrece una solución potencial para reinstaurar la privacidad, al olvidar o suprimir datos sensibles previamente adquiridos por los LLM.
Uno de los principales desafíos para implementar estas técnicas de desaprendizaje es la complejidad de modificar los millones de parámetros que configuran estos modelos, así como el amplio espectro que engloba su producción lingüística. El avance hacia un desaprendizaje eficaz busca mitigar los riesgos asociados al olvido catastrófico, evitando deteriorar el conocimiento útil mientras se elimina el contenido no deseado.
Para mejorar el desaprendizaje, se ha propuesto un marco ligero basado en la tecnología de Generación Aumentada por Recuperación (RAG, en inglés), la cual permite simular el proceso de olvido sin tener que interactuar con los parámetros de los modelos. Esta metodología demuestra ser especialmente efectiva en LLM de código cerrado, donde las técnicas tradicionales de desaprendizaje suelen fracasar.
A través de experimentos exhaustivos realizados en modelos tanto de código abierto como cerrado, incluyendo ChatGPT y Gemini, se comprobó la eficacia del enfoque basado en RAG. Este sistema no solo cumple con todos los criterios de desaprendizaje (eficacia, universalidad, inocuidad, simplicidad y resistencia) sino que también facilita una implementación más sencilla, al controlar el conocimiento y evitando el impacto negativo en la utilería del modelo.
El estudio resalta el papel potencial del RAG para extender el desaprendizaje a modelos de lenguaje multimodal y agentes basados en LLM, ampliando así las fronteras de la privacidad y protección de datos. Concluimos que la aplicación de RAG al desaprendizaje marca un paso decisivo en el desarrollo ético del aprendizaje automático, manteniendo el equilibrio entre preservar datos relevantes y olvidando aquellos que son sensibles o perjudiciales.