Los métodos tradicionales para la selección de tareas intermedias ponen en jaque a los investigadores debido a sus elevados requerimientos computacionales y de almacenamiento. Sin embargo, un nuevo enfoque, basado en las Mapas del Espacio de Embedding (ESMs), promete revolucionar este escenario. Estas redes neuronales ligeras aproximan el efecto de ajustar un modelo de lenguaje, disminuyendo significativamente el tiempo de ejecución y el uso de espacio en disco.

El enfoque innovador de los ESMs permite reducir el tiempo de ejecución por un factor de 10 y el uso del disco por un factor de 278, manteniendo una alta capacidad de selección. Estas mejoras son cruciales en entornos reales, donde los recursos están limitados y los retos son inmensos debido a la vasta cantidad de modelos y conjuntos de datos disponibles.

Para poner a prueba estos nuevos métodos, se llevó a cabo el estudio más extenso hasta la fecha sobre la transferibilidad de tareas en el ámbito del Procesamiento del Lenguaje Natural (NLP), evaluando más de 12,000 pares de fuente-objetivo. Este experimento reveló que, a pesar de la simplicidad de los ESMs, estos pueden capturar las características abstractas de sus correspondientes tareas con gran eficacia.

Los ESMs fueron diseñados como transformaciones lineales únicas, reduciendo la complejidad computacional y el tamaño. Esto permitió que, a pesar de su sencillez, los ESMs codifiquen características abstractas del modelo de lenguaje fino-sintonizado, bajando notablemente los costos computacionales y de almacenamiento de las representaciones de la fuente.

En comparación con metodologías anteriores, ESM-LogME demostró tener un rendimiento superior para la transferencia de modelos de NLP en escenarios reales. Con un Puntaje de Arrepentimiento promedio de 2.95, ESM-LogME destacó como el método de selección de fuentes de mayor rendimiento, al lograr una integración eficiente con un costo computacional menor.

En resumen, los Embedding Space Maps aparecen como una herramienta revolucionaria para optimizar la selección de tareas intermedias en la transferencia de aprendizaje. Este avance permite un uso más eficiente de los modelos de lenguaje en situaciones donde los recursos son escasos, abriendo nuevas posibilidades para el desarrollo de aplicaciones en procesamiento del lenguaje natural.