Innovación Revolucionaria en Generación de Canciones Controladas: Surge VersBand

Investigadores de la Universidad de Zhejiang han desarrollado un sistema que promete revolucionar la creación de música con el nuevo marco multi-tarea denominado VersBand. Este sistema se presenta como una solución integral para la generación de canciones de alta calidad mediante el control basado en indicaciones o “prompts”.

VersBand se compone de varios modelos interconectados, cada uno especializado en diferentes tareas musicales:

VocalBand es uno de estos modelos y destaca por su capacidad para generar rápidamente voces cantadas de alta calidad. Este modelo utiliza el método de coincidencia de flujos, que permite predicciones exactas de estilos de canto, tonos y espectrogramas mel, logrando un control detallado sobre las técnicas vocales y la personalización del estilo.

Paralelamente, AccompBand, un modelo basado en transformadores de flujo, maneja la generación de acompañamientos. Este modelo presenta un sistema llamado Band-MOE, que selecciona expertos adecuados para mejorar la calidad, alineación y control.

Adicionalmente, VersBand incorpora LyricBand para la generación de letras y MelodyBand para la creación de melodías, expandiendo el sistema hacia un ámbito musical completamente multi-tarea.

Los resultados experimentales muestran que VersBand supera a otros modelos en tareas de generación de canciones, tanto en métricas objetivas como subjetivas. Las pruebas se llevaron a cabo utilizando un amplio conjunto de datos de canciones en inglés y chino, demostrando que el sistema puede generar contenido musical controlado de manera efectiva.

A pesar de esta innovación, VersBand enfrenta dos desafíos clave: la complejidad del entrenamiento y la necesidad de un conjunto de datos más diverso para abarcar diferentes culturas musicales.

En conclusión, VersBand es un avance significativo en la inteligencia artificial aplicada a la música, prometiendo no solo mejorar la calidad de las producciones musicales, sino también democratizar el acceso a herramientas creativas avanzadas en el proceso de creación musical.