La Universidad Politécnica del Noroeste, Hong Kong University of Science and Technology y Tencent AI Labs han anunciado FleSpeech, un innovador marco de generación de habla que permite una manipulación flexible de los atributos del discurso integrando diferentes formas de control. Este sistema se basa en un codificador de aviso multimodal que unifica diversos tipos de indicaciones para permitir una síntesis de voz adaptable y precisa.

El método de FleSpeech marca un avance significativo en la generación de discursos más creativos y ajustables. A diferencia de las técnicas tradicionales que dependen de avisos únicos o fijos, FleSpeech permite ajustar la voz según un conjunto de características predeterminadas, como el timbre del hablante seleccionado, o generar un estilo que se alinee con la apariencia visual de un personaje. Este enfoque facilita la combinación de diferentes estrategias de control que satisface las demandas de control flexible en diversas circunstancias.

FleSpeech no solo muestra superioridad tanto objetiva como subjetiva sobre los métodos actuales, sino que también introduce un innovador pipeline para la recolección de datos multimodales que favorecerá futuras investigaciones en este campo. La fase tecnológica incluye el empleo de modelos generativos potentes y un marco de múltiples etapas de generación de discursos, demostrando efectividad comprobada en experimentos objetivos y subjetivos.

Este avance es especialmente relevante en el ámbito de la creación de contenido y la interacción humano-computadora, donde la síntesis de voz juega un papel crucial. La tecnología, que evoluciona rápidamente, ofrece mayor realismo y una síntesis de habla más controlable, brindando un campo fértil para la creatividad y la precisión en la tecnología del habla.

Finalmente, los autores se comprometen a liberar el pipelín de recolección de datos para fomentar la investigación adicional, una iniciativa que sin duda potenciará el crecimiento y desarrollo en la generación de discurso multimodal.