La investigación y desarrollo de modelos de mundo, como el propuesto Embodied Video Anticipator (EVA), representan un avance significativo en la capacidad de predicción y generación de videos. Estos modelos integran datos de distintas modalidades, como imágenes y lenguaje, simulando cómo un ente se comporta en el mundo y permitiéndole prever acciones futuras.
EVA introduce un marco unitario orientado al entendimiento y generación de video, combinando eficazmente las habilidades de razonamiento de un modelo de lenguaje visual con la generación de video de alta calidad. Esto se logra gracias a un sistema de entrenamiento en múltiples etapas que permite adaptar los modelos preentrenados a diversas tareas del mundo real.
Uno de los principales aportes de este modelo se refleja en la creación del benchmark Embodied Video Anticipation Benchmark (EVA-Bench), diseñado para evaluar la habilidad de predicción de acciones humanas y robóticas. EVA-Bench se centra especialmente en tareas como la descripción de acciones, el análisis de finalización de tareas, el cómo ejecutar acciones y la anticipación de próximos pasos. Así, facilita el análisis y comparación de diferentes modelos mediante una metodología estándar.
Para abordar la complejidad de predecir videos en escenarios encarnados, la propuesta de EVA descompone el problema en cuatro metatasks que permiten manejar el entendimiento del video de manera más detallada. Estas sub-tareas son claves para enfrentar los desafíos de predicción multimodal y comprender las instrucciones de manera unificada.
Se ha implementado un sistema innovador de preentrenamiento que adapta específicamente las tareas a través de una combinación inteligente de módulos LoRA, permitiendo una adaptación eficiente y un incremento en la calidad de generación con altos grados de fidelidad.
Los experimentos realizados con EVA-Bench demuestran que el Embodied Video Anticipator tiene el potencial de mejorar significativamente el rendimiento en escenas donde la predicción y planificación son esenciales, como la conducción autónoma, la realidad mixta o la logística y manipulación en robótica.
Conclusión: Con EVA, el horizonte de la inteligencia artificial para comprender y anticipar en entornos complejos se amplía, permitiendo no solo la observación, sino la interacción proactiva en un mundo multimodal. Es un paso vital hacia la inteligencia artificial general que no solo actúa on-line con el mundo físico, sino que anticipa acciones antes de que ocurran.