En un giro sorprendente para los desarrollos de la robótica aplicada a la planificación de tareas, un reciente estudio introduce el “REI-Bench”, un marco experimental para evaluar cómo los robots pueden interpretar instrucciones humanas vagas. El hilo conductor es la presencia de expresiones referenciales implícitas en las instrucciones, las cuales presentan un verdadero desafío para los actuales planificadores de tareas basados en modelos de lenguaje de gran tamaño (LLM).
Los planificadores de tareas aplicados a robots intentan descomponer las instrucciones dadas por los humanos en secuencias de acciones ejecutables. Estos son capaces de llevar a cabo tareas complejas, pero parten de la premisa de que las órdenes humanas siempre son claras y directas. Sin embargo, en la práctica cotidiana, las instrucciones tienden a ser todo lo contrario, especialmente cuando provienen de personas mayores o niños, quienes hacen un uso más frecuente de vaguedades al hablar.
Aquí es donde surge la propuesta de “REI-Bench”. Este conjunto de pruebas y datos se centra en analizar la comunicación robótica ante instrucciones humanas con vaguedades referenciales. Se observó que la vaguedad en estas expresiones puede reducir la tasa de éxito de los planes robóticos hasta en un 77.9%. La mayoría de los fracasos derivan de objetos no identificados por los planificadores.
Para abordar este desafío, el método denominado “cognición de contexto orientada a la tarea” plantea generar instrucciones claras para los robots, mejorando los índices de éxito en comparación con otros métodos, como avisos conscientes y cadenas de pensamiento.
El estudio destaca que, si bien los modelos actuales de lenguaje muestran un rendimiento impresionante bajo condiciones ideales, se hace patente la necesidad de refinar la capacidad de los robots para manejar las instrucciones naturales del mundo real. La introducción de este marco tiene por objetivo llamar la atención sobre este problema ignorado hasta ahora, promoviendo la necesidad de una investigación más profunda al respecto.