Un reciente estudio liderado por el Departamento de Ciencias Informáticas de Virginia Tech ha desarrollado un innovador sistema de subtitulado en realidad aumentada (AR) que busca mejorar la accesibilidad educativa para alumnos sordos o con deficiencias auditivas. Diseñado específicamente para entornos educativos de Ciencia, Tecnología, Ingeniería y Matemáticas (STEM), este sistema de subtítulos se destaca por su capacidad de integrar señales emocionales y multimodales en tiempo real durante las transcripciones.
A diferencia de los sistemas de subtítulos convencionales que presentan solo texto plano, este nuevo sistema se vale de tecnología punta para interpretar señales emocionales a partir de movimientos faciales, gestos y tono vocal. Esto permite ofrecer subtítulos enriquecidos con anotaciones emocionales en un entorno de realidad aumentada desarrollado en Unity. Estas anotaciones pueden incluir indicaciones sobre el tono del hablante (como “preocupado”) o gestos (como “asiente”), dotando a los subtítulos de una profundidad comunicativa nunca antes vista.
Este sistema emplea entradas en vivo de cámara y micrófono que, procesadas mediante modelos de inteligencia artificial, detectan las señales multimodales. Los resultados preliminares de evaluaciones sugieren que estas mejoras en los subtítulos aumentan significativamente la comprensión y reducen el esfuerzo cognitivo en comparación con los subtítulos estándar.
El marco de subtitulado en realidad aumentada se desarrolló utilizando la versión 2021 de Unity y el Mixed Reality Toolkit 3, apostando por la accesibilidad visual y espacial para minimizar la carga cognitiva reforzando la conexión visual entre los subtítulos y los contenidos educativos en tiempo real.
Usuarios que han experimentado con las versiones de prueba del sistema reportaron mejoras significativas en cuanto a la carga cognitiva y la comprensión del contenido. No obstante, también señalaron que un exceso de elementos visuales podría generar sobrecarga sensorial, por lo que la personalización y ajuste visual de los subtítulos es crucial.
Este enfoque tiene el potencial de cambiar el panorama educativo, particularmente en ámbitos tan demandantes cognitivamente como los STEM, siendo un ejemplo de cómo las tecnologías inmersivas pueden proporcionar un entorno de aprendizaje más inclusivo y accesible.
Esta investigación abre el camino a futuras exploraciones sobre la relación entre herramientas educativas tecnológicas, accesibilidad y personalización, buscando avanzar hacia un ámbito educativo más inclusivo, donde la carga cognitiva y la interpretación emocional se convertan en parte integral del aprendizaje.