ImprovNet irrumpe en la escena musical con un enfoque innovador para generar improvisaciones musicales controlables mediante un refinamiento iterativo de corrupción. Esta nueva arquitectura basada en transformadores ha sido presentada por la Universidad de Queen Mary en Londres, en colaboración con la Universidad de Tecnología y Diseño de Singapur.
El gran avance que propone ImprovNet es la capacidad de realizar transferencias de estilo musical de manera controlada y expresiva, superando los retos habituales del campo debido a la limitada disponibilidad de conjuntos de datos y la falta de modelos unificados para tareas múltiples de generación musical. Especialmente relevante es su capacidad de dirigir improvisaciones cross-genéricas (de un género a otro, como del clásico al jazz) y dentro de un mismo género (de clásico a clásico). El sistema permite a los usuarios controlar el grado de transferencia de estilo y la semejanza estructural con la composición original, garantizando una experiencia musical personalizada.
A través de un marco de generación iterativa, ImprovNet es capaz de realizar improvisaciones tanto intergenéricas como intragenéricas, armonizar melodías con estilos específicos de género y ejecutar tareas de continuación e infilling basadas en prompts cortos. Su metodología de entrenamiento implica una estrategia de refinamiento de corrupción autoadministrada que mejora la eficacia del modelo para generar improvisaciones musicalmente coherentes. Destaca su capacidad para superar al Transformer de Música Anticipatoria (AMT) en tareas de continuación corta e infilling, con el 79% de los participantes identificando correctamente las improvisaciones en estilo jazz de piezas clásicas.
Además, se han sometido a prueba distintas mejoras en el modelo que integran el uso de funciones de corrupción predefinidas, lo que permite al modelo aprender estructuras musicales mediante etiquetas de género débiles, capturando así los rasgos propios de cada género sin requerir conjuntos de datos extensamente anotados.
Con un enfoque en el terreno de la música simbólica representada, ImprovNet se entrena mediante técnicas avanzadas que consideran aspectos rítmicos, armónicos y melódicos de las representaciones musicales para satisfacer la flexibilidad y espontaneidad propias de una interpretación humana.
En conclusión, ImprovNet se presenta no solo como un avance significativo en la generación musical automática con una capacidad excepcional para mantener relaciones estructurales con las piezas originales, sino también como un marco altamente adaptable para entusiastas de la IA generativa en el ámbito musical.