En el contexto de la creciente colaboración humano-AI, se pone de manifiesto el desafío de la eficacia al trabajar en sintonía. Entrar como equipo humano-AI busca combinar las habilidades únicas de ambas entidades para lograr metas conjuntas. En este sentido, un agente de inteligencia artificial puede operar de manera autónoma mientras que un operador humano tiene la capacidad de intervenir si cree que el comportamiento del agente no es óptimo. Estas interacciones son comunes en contextos como la conducción autónoma, la automatización en fábricas y el cuidado de la salud.

El estudio aborda una metodología para mejorar la explicación de las decisiones de los agentes de AI hacia los usuarios humanos dentro de un equipo humano-AI. La hipótesis principal es que al proporcionar a los usuarios humanos explicaciones sobre la política de decisión de los agentes, se puede incrementar la confianza apropriada en estos, mejorando así la habilidad para determinar cuándo intervenir. Sin embargo, comprender dichas decisiones es desafiante, dado que los agentes operan en vastos espacios de estados y sus decisiones son influenciadas por resultados a largo plazo.

Utilizando el marco de aprendizaje por refuerzo (RL) como contexto, el estudio investiga cómo una política de decisiones es aprendida por el agente y cómo un humano puede intervenir bajo el marco propuesto llamado “Termination Markov Decision Process” (TerMDP). A través de este, el humano puede modificar el comportamiento del agente aplicando una política humana tras evaluar un estado que aparentemente requiere intervención.

Finalmente, los experimentos están diseñados para evaluar la eficacia de resúmenes de políticas que, al ser sintetizados de grandes conjuntos de datos de trayectorias, permiten al operador humano hacer juicios informados sobre la necesidad de intervención de manera selectiva. Esto se realiza utilizando simulaciones que analizan de cerca el impacto de resúmenes optimizados en la habilidad del operador humano para colaborar adecuadamente con el agente.