Científicos del Departamento de Ingeniería Eléctrica y Electrónica de Trinity College Dublin han desarrollado una novedosa estrategia de aprendizaje por refuerzo para sistemas multiagente que promete ser una solución eficiente y adaptativa en aplicaciones del mundo real. Este enfoque se centra en la reducción del consumo energético y la demanda computacional al limitar el aprendizaje activo a un solo agente, mientras sus estrategias se comparten periódicamente entre agentes no aprendientes.
El método propuesto utiliza una función de recompensa que promueve el desarrollo implícito de roles, permitiendo que cada agente asuma diferentes comportamientos basados en la interacción con el entorno sin necesidad de comunicarse expresamente con otros agentes. Al integrar esta función de recompensa, se consigue la diferenciación de comportamientos entre los agentes, lo cual facilita la flexibilidad y escalabilidad de dichas conductas.
En comparación con los métodos tradicionales, este abordaje demostró una significativa reducción en el tiempo de entrenamiento, especialmente en ambientes que implican una alta demanda computacional, como los sistemas de refuerzo multiagente (MARL). Además, a diferencia del enfoque centralizado DQN y el modelo MARL completo, la solución disminuyó considerablemente el tiempo de ejecución, alcanzando cerca del 20% del tiempo que requeriría MARL convencional.
El aprendizaje singular basado en un agente permite la rápida diseminación de estrategias exitosas a través de un mecanismo de “model sharing” innovador, asegurando que estas sean desarrolladas de manera autónoma por agentes aliados, quienes a su vez equilibran la homogeneidad de sus comportamientos mediante variaciones evolutivas introducidas durante el proceso de compartición del modelo.
Los resultados del estudio reflejan que, al menos en ambientes simulados, este enfoque logra una notable eficiencia en el despliegue de agentes en labores como exploración autónoma y logística, sin comprometer la capacidad de decisión y adaptación frente a cambios en el entorno. Esta funcionalidad inherente ya ha mostrado potencial para aplicaciones en robótica y redes IoT donde la eficiencia energética es crucial.
Con estos hallazgos, los investigadores sugieren estratégicamente seguir explorando la eficacia de la función de recompensa propuesta y cómo podría generalizarse en un mayor rango de escenarios complejos, examinando la viabilidad de su implementación en sistemas autónomos reales mediante la reducción de costes computacionales y operativos.