La reciente salida al mercado de ESGenius promete revolucionar el uso de Modelos de Lenguaje Grupal (LLMs por sus siglas en inglés) en la comprensión de pautas de sostenibilidad y requerimientos de ESG (Medio Ambiente, Social y Gobernanza). Diseñado por el laboratorio ABA-NTU de Singapur en colaboración con el Grupo Alibaba, este ambicioso proyecto busca llenar un vacío existente en la evaluación de las capacidades de los LLM para abordar cuestiones críticas de ESG y sostenibilidad.
Este benchmark se compone de dos elementos principales. En primer lugar, un conjunto de preguntas de opción múltiple, ESGenius-QA, que totaliza 1,136 preguntas validadas por expertos. Estas preguntas cubren los pilares esenciales de ESG y están directamente vinculadas a textos fuente, lo cual permite una evaluación transparente. El segundo componente es ESGenius-Corpus, una vasta colección de 231 informes y estándares fundamentales provenientes de siete fuentes autorizadas, que suman 19,600 páginas de información relevante.
En un estudio que evaluó 50 modelos de LLM, se destacó que, aunque las capacidades actuales en configuraciones de “zero-shot” alcanzan entre un 55 y un 70% de precisión, modelos como el “DeepSeek-R1-Distill-Qwen 14B” incrementaron drásticamente sus tasas de acierto aplicando el método de Generación Aumentada por Recuperación (RAG). Este método mejora el rendimiento significativamente al proporcionar contexto adicional relevante durante el proceso de respuesta. Esto evidencia la importancia de fondear los modelos con evidencias fidedignas, especialmente para aquellos de tamaño menor.
A pesar de los avances, ESGenius también resalta desafíos significativos para los LLM actuales, principalmente en la comprensión profunda de los conceptos ambientales y la capacidad de razonamiento intertemático. Sin embargo, esta herramienta incluye un protocolo de evaluación de dos etapas, Zero-Shot y RAG, que proporcionan una base sólida para medir los progresos en la comprensión de ESG.
En conclusión, ESGenius no solo se posiciona como una herramienta invaluable para evaluar las capacidades de los LLM frente a desafíos complejos de sostenibilidad, sino que subraya la necesidad de un enfoque basado en evidencias para lograr una comprensión más precisa en el desarrollo futuro de tecnologías ESG.