Un estudio reciente de investigadores de la Universidad Estatal de Arizona ha planteado importantes reflexiones sobre la cooperación entre humanos y agentes de inteligencia artificial (IA), centrándose en cómo medir realmente la colaboración en estos equipos mixtos más allá de las meras recompensas de tareas. Los investigadores han propuesto un concepto innovador llamado “interdependencia constructiva” que mide la dependencia mutua de los agentes para lograr un objetivo común, evaluando así la cooperación en equipos humano-agente.

Utilizando el dominio conocido como “Overcooked”, un entorno de juego donde los participantes deben coordinarse para preparar y entregar sopas, el equipo realizó diversos experimentos para investigar la eficiencia de los métodos de cooperación entre IA y humanos. En estos experimentos, los agentes entrenados, conocidos como HAT (acrónimo en inglés de Human-Agent Teaming), fueron evaluados junto a humanos mediante un estudio de usuarios.

Los resultados del estudio fueron reveladores. Aunque los agentes lograron altos índices de recompensa por tarea, la interdependencia, y por ende, la verdadera cooperación entre los agentes y los humanos, fue sorprendentemente baja. Esto destaca una desconexión clara entre terminar la tarea y lograr una sincronización efectiva en los equipos. La baja interdependencia refleja un fallo en inducir comportamientos cooperativos genuinos, sugiriendo que las recompensas por tareas no son un indicador fiable de la colaboración efectiva.

El análisis también desveló que la alta recompensa por tarea no necesariamente se correlaciona con un rendimiento colaborativo exitoso. Los escenarios en los que se requería cooperación obligatoria (RC) mostraron una mayor alineación entre estas dos métricas, en comparación con los escenarios donde no era necesaria (Non-RC), donde las recompensas eran altas pero la cooperación genuina era escasa.

Un aspecto clave del estudio fue la aplicación de un enfoque formalizado de planificación multi-agente, mapeando un juego de Markov de dos jugadores a un formalismo STRIPS para evaluar y medir las interacciones entre los agentes.

En conclusión, esta investigación revela la necesidad de ir más allá de las métricas tradicionales de recompensa de tareas cuando se evalúa la cooperación en equipos mixtos humano-agente. Es necesario considerar métricas como la interdependencia constructiva para captar realmente las dinámicas colaborativas, ayudando así a desarrollar mejores soluciones para la colaboración humano-agente en el mundo real.