La creciente adopción de la inteligencia artificial generativa ha puesto en evidencia el impacto ambiental significativo asociado con el uso de Modelos de Lenguaje de Gran Escala (LLMs). Mientras la comunidad tecnológica celebra los avances en las capacidades de razonamiento y deducción de los LLMs, estos modelos conllevan un elevado costo en término de consumo energético y emisiones de carbono, especialmente durante las inferencias.
Estudios recientes han señalado que son las solicitudes de inferencia, que se cuentan por millones o incluso miles de millones al día, las que representan una carga más pesada para las redes eléctricas y los objetivos de sostenibilidad de las organizaciones. Los intentos por monitorear y estimar con precisión el consumo energético y las emisiones de carbono son un componente clave para cualquier estrategia de sostenibilidad.
El desarrollo de marcos de trabajo como R-ICE, por parte de un equipo de investigación en Accenture, busca abordar las deficiencias actuales de las herramientas de monitoreo y estimación de emisiones. La propuesta se centra en la utilización de benchmarks emergentes para los LLMs, lo que permitiría una estimación más precisa de las emisiones de carbono en el nivel de inferencia.
Entre las deficiencias actuales de las herramientas y enfoques se encuentran la naturaleza intrusiva, la alta dependencia de datos intrincados de modelo arquitectónico, y un margen de error considerable. Mientras que herramientas como CodeCarbon y LLMCarbon cumplen con ciertas funciones, enfrentan limitaciones en términos de datos de entrada requeridos y errores de precisión.
A pesar de estas carencias, los resultados preliminares del marco R-ICE muestran una tasa de error de predicción promedio del 15%, lo que sugiere un potencial prometedor para las estimaciones de emisiones basadas en benchmarks. El uso de benchmarks LLM no solo empuja la precisión en las estimaciones sino que también proporciona un camino práctico para funcionalidades como la contabilidad de carbono en entornos empresariales.
El impacto potencial de tal enfoque podría ser trascendental para la industria del software. Integrar los costos de carbono y energía en las decisiones de diseño de LLM puede transformarse en una práctica estándar, permitiendo a las organizaciones realizar elecciones informadas que prioricen la sostenibilidad. Al reducir incluso una fracción de CO2 por cada inferencia, se podrían lograr mejoras significativas en los objetivos climáticos de una empresa.
Mirando hacia el futuro, la evolución de frameworks como R-ICE y la creación de un ranking “Verde” de los LLMs podría catalizar aún más la adopción de técnicas más sostenibles, subrayando la necesidad de avanzar hacia un futuro donde la innovación tecnológica esté en sintonía con la responsabilidad ambiental.