La evolución en el ámbito de la ingeniería de software ha sido palpable, especialmente con la integración de modelos de inteligencia artificial avanzada, como los Grandes Modelos de Código (LCMs, por sus siglas en inglés). Estas herramientas se han convertido en pilares para tareas cruciales como la generación de código y la detección de errores. Sin embargo, el costo inusual en términos de recursos computacionales ha presentado desafíos para su implementación extensiva. En respuesta a esta situación, la comunidad científica ha volcado su atención hacia estrategias de Fine-Tuning (ajustes finos de parámetros) que ofrecen alternativas más sostenibles y eficientes.
Los ajustes finos de parámetros eficientes (PEFT) se presentan como una solución prometedora, permitiendo la modificación de un subconjunto mínimo de parámetros del modelo sin necesidad de recalibrar todos los componentes. Este enfoque no solo reduce el tiempo de entrenamiento sino que también rebaja significativamente el consumo de recursos, lo que lo hace atractivo para implementaciones en escenarios reales, especialmente donde los recursos son limitados.
A través de un estudio sistemático de 27 artículos revisados por pares, se sintetizó la aplicación creciente de las técnicas PEFT en una amplia gama de tareas de ingeniería de software. Los resultados muestran que estrategias como la Adaptación de Baja Rango y el Uso de Adaptadores han optimizado diversas arquitecturas de aprendizaje profundo, impactando positivamente tanto en el rendimiento como en la eficiencia de los modelos.
Este enfoque no solo es teóricamente sólido, sino que conlleva aplicaciones prácticas claras, como la generación de código de alta calidad o la predicción precisa en escenarios específicos. Asimismo, se presenta una taxonomía comprensiva que categoriza el uso de PEFT según el tipo de tarea, distinguiendo entre escenarios de generación (como la detección de clones) y otros.
A medida que seguimos explorando el potencial de los LCMs y sus aplicaciones, se torna crucial continuar investigando en técnicas de ajuste de parámetros que permitan una adaptación más efectiva y especializada de estos modelos a necesidades concretas del desarrollo sostenible impulsado por la inteligencia artificial.