En un constante esfuerzo por reducir el gran impacto energético y climático que supone la gestión de edificios, un grupo de investigadores de Aalto University en Finlandia ha presentado un innovador modelo para optimizar el funcionamiento de sistemas HVAC (calefacción, ventilación y aire acondicionado) usando algoritmos de aprendizaje de refuerzo. Este enfoque se centra en reducir el tiempo de aprendizaje y mejorar la adaptabilidad de los controladores HVAC utilizando la técnica de aprendizaje federado para lograr una política global que minimize el consumo energético y maximice el confort térmico.
Los edificios representan un 40% del consumo energético global, y el sistema HVAC forma una parte sustancial de este gasto, según diversos estudios. Los controladores tradicionales, como el MPC (Control Predictivo Basado en Modelos), demandan modelos precisos del entorno, haciéndolos poco prácticos para la mayoría de los edificios únicos. Los algoritmos de aprendizaje por refuerzo, aunque eficientes en cuanto a costos energéticos y en ofrecer pleno confort térmico, fallan en eficiencia de datos, requiriendo amplios periodos de entrenamiento en ambientes reales.
El estudio sugiere que el uso del aprendizaje federado permitiría acelerar la velocidad de aprendizaje de estos controladores en sistemas HVAC. Mediante la agregación de políticas locales entrenadas en múltiples centros de datos ubicados en diversas zonas climáticas, se consigue una política de control global que generaliza mejor las variables. Esto significa que, al trabajar con experiencias heterogéneas de diferentes edificios, el agente aprende más rápido y, más importante aún, logra adaptarse a nuevos entornos de construcción que no había visto durante el entrenamiento.
En un cuerpo experimental llevado a cabo por los investigadores, se evaluaron tres optimizadores diferentes para el entrenamiento de la política local y sus efectos se compararon con otros algoritmos de aprendizaje federado. Los resultados indicaron mejoras significativas en la estabilidad del aprendizaje, con un proceso de aprendizaje menos sensible a la elección de los parámetros e inestabilidades propias del aprendizaje por refuerzo.
No obstante, el uso de aprendizaje federado también presenta retos, como el porcentaje de datos compartidos y las necesidades computacionales adicionales, que deben ser gestionados para maximizar su efectividad en aplicaciones reales.
En conclusión, el aprendizaje federado representa una solución prometedora para optimizar el control de sistemas HVAC, reduciendo significativamente el tiempo hasta llegar a políticas eficientes y seguras. Aun así, investigaciones futuras tendrían que centrarse en técnicas de transferencia de aprendizaje para reducir el tiempo de adaptación a entornos reales y validar su aplicabilidad en la industria.