En el ámbito de la inteligencia artificial, la adición continua de nuevo conocimiento a grandes modelos de lenguaje (LLM) es un reto que ha cobrado relevancia recientemente. Investigadores han llevado a cabo estudios para determinar los métodos más eficientes para integrar nuevos datos en estos modelos sin que se produzca una pérdida del conocimiento previamente adquirido. En un estudio colaborativo llevado a cabo por investigadores de IBM, se han evaluado diversos métodos en entornos semicooperativos y plenamente cooperativos.
Una de las principales conclusiones del estudio es la ventaja del uso de LoRA, un método de adaptación de bajo rango, en comparación con el afinamiento completo de todos los parámetros del modelo. LoRA no solo conserva mejor el conocimiento previo, sino que también permite un entrenamiento más eficiente al enfocar el ajuste en un subconjunto de parámetros, lo cual se traduce en un menor uso de recursos computacionales.
En términos de nuevas adquisiciones de conocimiento, LoRA, a pesar de no ser tan robusto como el ajuste completo en algunos aspectos, logra mantener un equilibrio entre la retención de conocimiento antiguo y la incorporación de nuevas capacidades. En un entorno semicooperativo, donde los conjuntos de datos previos no están disponibles, se observó que las técnicas como el o-lora, que introducen un término de ortogonalidad en la función de pérdida, pueden ser beneficiosas al permitir que nuevos datos se integren sin interferir con adaptadores previamente entrenados.
Por otro lado, en un entorno plenamente cooperativo donde se tiene acceso a todos los conjuntos de datos históricos, tanto el entrenamiento conjunto como el secuencial con recuperación mostraron ser métodos efectivos. Estas técnicas permiten utilizar un 10% de los datos de tareas previas, posibilitando que los modelos retengan el conocimiento adquirido recientemente. LoRA, en este contexto, demostró ser nuevamente superior en términos de retención de conocimiento antiguo.
En conclusión, los resultados sugieren que LoRA sigue siendo una opción preferible para la actualización continua de LLM, ofreciendo un equilibrio eficiente entre la retención de conocimiento antiguo y la adquisición de nuevas habilidades. Este enfoque, junto a técnicas de mezcla como MOE, se presenta como una alternativa económica y efectiva en la optimización continua de modelos de lenguaje, permitiendo una adaptación flexible y eficiente frente al veloz avance en el campo de la inteligencia artificial.