En un avance significativo para la representación de lenguajes de signos en formato digital, el equipo liderado por Sen Fang ha introducido el modelo SignLLM, un sistema que permite la producción de lenguaje de señas a partir de textos. Este modelo, desarrollado en colaboración con diversas universidades de renombre, utiliza datos de un nuevo conjunto de datos multilingües denominado Prompt2Sign, que abarca ocho lenguajes de señas diferentes, incluyendo el ASL (Lengua de Señas Americana) y varios otros menos conocidos.
Este revolucionario modelo se enfoca en facilitar el entrenamiento de grandes modelos de lenguaje de señas mediante componentes novedosos de aprendizaje por refuerzo, específicamente a través de un módulo llamado Priority Learning Channel, que prioriza lotes de datos de alta calidad durante el proceso de capacitación. Esto ha permitido que el modelo obtenga resultados de última generación en tareas de producción de lenguaje de señas en distintas lenguas.
Un componente interesante de este desarrollo es el uso de video secuencias sintetizadas por modelos de transferencia de estilo que permiten la generación de representaciones de señas más atractivas y parecidas a las humanas. Estos procesos se nutren del trabajo de componentes tradicionales como la conversión de texto a glosa, un texto que representa gestos en lenguaje de señas, y glosa a postura.
El modelo SignLLM no solo se destaca por su precisión, sino que simplifica drásticamente la captura y procesamiento de datos de lenguaje de señas, un área que históricamente ha sido extremadamente compleja y laboriosa. En esta última innovación, se emplea la extracción de información de video público en un formato comprimido, optimizando el tamaño de los datos que facilita la formación y posterior aplicación.
Con este enfoque, se logra reducir drásticamente el tiempo de entrenamiento, lo que puede abrir paso a desarrollos futuros más rápidos y precisos en el modelado de lenguajes de señas. El modelo permite, además, afrontar desafíos comunes en la capacitación de lenguaje de señas, como la diversidad de formatos y la necesidad de anotaciones manuales laboriosas.
En conclusión, la introducción del modelo SignLLM y el conjunto de datos Prompt2Sign representan un hito en el ámbito de la comunicación inclusiva, posibilitando mayores niveles de accesibilidad para usuarios alrededor del mundo a través del lenguaje de señas digital. Esta innovación es un gran paso hacia un modelo de comunicación más inclusivo que podría beneficiar comunidades que dependen de dicho lenguaje para la interacción diaria.