Investigadores han desarrollado una innovadora técnica de reconstrucción de avatares humanos altamente animables en tiempo real a partir de videos monoculares. Este avance podría revolucionar el desarrollo de videojuegos, la realidad aumentada y las redes sociales al reducir la dependencia de sistemas hardware complejos gracias a la utilización de 2D Gaussian Splatting (2DGS), que mejora significativamente el detalle geométrico y la fidelidad de la superficie mediante elementos primitivos bidimensionales.
Implementado en monocular video, el método emplea una red de compensación de rotación (RCN) que aprende los residuos de rotación integrando características geométricas locales con parámetros globales de pose, lo que garantiza transiciones de pose suaves y sin artefactos en la animación. La técnica también aborda los desafíos topológicos inherentes, superando limitaciones de métodos previos que no capturan con precisión los detalles geométricos complejos y generan inestabilidad en la animación en poses complejas o dinámicas.
El marco utiliza parámetros de pose SMPL para corregir discrepancias posicionales y rotacionales entre los primitivos 2DGS y la superficie real del cuerpo humano. Esto permite la reconstrucción de avatares de alta calidad con detalles geométricos ricos. Además, se han implementado restricciones específicas para garantizar una mayor precisión en la apariencia y los atributos geométricos durante la reconstrucción y asegurar transiciones de animación más suaves.
Los resultados experimentales han demostrado que este enfoque supera métodos de última generación en la reconstrucción de avatares humanos animables, preservando eficazmente los detalles de grano fino al tiempo que asegura variaciones de pose estables y naturales a partir de videos monoculares. Estas mejoras son particularmente significativas en áreas de deformaciones no rígidas y artefactos en las articulaciones, mostrando un rendimiento superior en bancos de pruebas públicos.
Con este avance, se abre la posibilidad de simplificar considerablemente el proceso de creación de avatares digitales realistas y altamente detallados para aplicaciones diversas, que van desde el entretenimiento hasta la interacción virtual. Sin embargo, el enfoque puede enfrentar desafíos adicionales, como la dependencia de la precisión de la estimación de pose humana en los datos de entrenamiento, siendo una área para investigaciones futuras. La capacidad de modelar apariencias realistas bajo variaciones de iluminación mejora aún más las aplicaciones potenciales de este método, posicionándolo como una herramienta esencial en la evolución tecnológica de los medios digitales.