En un intento pionero por integrar mejor las herramientas de música con los modelos de lenguaje natural, Sony ha puesto en marcha un ambicioso proyecto llamado OpenMU. Esta iniciativa se centra en crear un modelo que no solo entienda la música sino que también optimice su producción a través de un aprendizaje multimodal.

El punto de partida de este proyecto ha sido OpenMU-Bench, una suite de evaluación a gran escala diseñada para entrenar modelos de lenguaje multimodal, haciéndolos más competentes en la comprensión musical. Esta suite se ha construido combinando conjuntos de datos existentes con anotaciones nuevas, y abarca cerca de un millón de ejemplos, cubriendo aspectos como la descripción de letras y el uso de herramientas musicales.

Con OpenMU, Sony ha superado modelos base, destacando el desempeño del siguiente nivel del proyecto. La capacidad de OpenMU de procesar y razonar sobre clips de música se debe, en gran parte, a su uso de encoders de audio previamente entrenados, lo que refuerza su capacidad de conectar la labor creativa de los músicos con el potencial racional del software.

El proyecto se desarrolló inicialmente por la necesidad de mejorar la eficiencia productiva en el ámbito musical, que enfrentaba serios obstáculos por la escasez de datos en el ámbito de la música. Para mitigar este problema, se ha creado OpenMU-Bench, un conjunto de ejemplos de formación con la ayuda de sistemas IA como GPT-3.5, mejorando el volumen y la calidad de los datos disponibles para estas evaluaciones.

Uno de los aspectos fundamentales que aborda OpenMU es la integración de herramientas musicales reconocidas, lo que les permite a los profesionales del campo ahorrar valiosos minutos al proporcionar descripciones elaboradas de clips musicales sin tener que escucharlos por completo.

A medida que estos desarrollos toman vuelo, el campo de la Recuperación de Información Musical también parece estar listo para dar un salto adelante. La coordinación de modelos lingüísticos extensibles y herramientas musicales asegura que los creadores de música puedan centralizar sus esfuerzos creativos, sabiendo que OpenMU se encargará del análisis intensivo y el razonamiento preciso.

Con el paso del tiempo, OpenMU continuará liberando su código y benchmarking a la comunidad, alentando así la cooperación en investigaciones futuras, con el objetivo conjunto de hacer de la producción musical un proceso más eficaz.