Investigadores de Estados Unidos han desarrollado un marco de trabajo llamado CarbonCall, que busca reducir las emisiones de carbono y el consumo de energía al optimizar el uso de Modelos de Lenguaje Grandes (LLM) en dispositivos periféricos. Esta innovación se presenta como una solución a los retos actuales en el ámbito de la informática sostenible, al reducir la carga computacional y las demandas energéticas que, en ocasiones, son elevadas en entornos con recursos limitados y sujetos a variaciones de la intensidad del carbono de las fuentes de energía.
Los dispositivos periféricos tradicionales presentan desafíos particulares debido a sus limitaciones en cuanto a potencia y recursos de computación, los cuales complican la ejecución eficiente de LLM. CarbonCall intenta superar estas barreras mediante la adaptación real-time de las herramientas utilizadas y la ejecución de modelos que ayudan a mantener un elevado rendimiento sin incrementar el consumo energético.
Experimentos realizados en un dispositivo NVIDIA Jetson AGX Orin demuestran que este enfoque reduce las emisiones de carbono hasta un 52%, disminuye el consumo de energía en un 30% y mejora el tiempo de ejecución en otro 30%, sin sacrificar la eficiencia en la ejecución.
Para lograr estos resultados, CarbonCall introduce tres innovaciones clave: selección dinámica de herramientas facilitando la ejecución eficiente de funciones complejas por parte de los modelos, una estrategia de ejecución consciente del carbono que ajusta el consumo de energía en función de las fluctuaciones del entorno y una estrategia que emplea modelos LLM de calidad mixta los cuales, gracias a su cuantización, permiten mantener la eficiencia energética sin comprometer la capacidad de respuesta.
El estudio destaca que las clásicas técnicas para optimizar energías, como la reducción de frecuencias de CPU y GPU, no siempre conducen al menor impacto de carbono, ya que estas reducciones pueden provocar degradaciones significativas del rendimiento que afectan negativamente las operaciones en tiempo real. CarbonCall ofrece una solución alterna al permitir una transición sin problemas entre modelos variante de LLM altamente cuánticos, adaptados a las oportunidades energéticas y de sostenibilidad que ofrecen las variaciones en las fuentes de energía renovable.
En conjunto, CarbonCall representa un avance prometedor hacia sistemas informáticos más sostenibles, alineando el rendimiento de agentes AI con objetivos ecológicos urgentes. La investigación no solo propone estrategias sostenibles para reducir las emisiones sino que sugiere una nueva dirección para la tecnología sustentable, maximizando el potencial de la informática de borde en el camino hacia un futuro de IA más verde.