Investigadores de la Universidad de Nanjing han presentado DiffuseST, un innovador enfoque de transferencia de estilo que combina la representación textual y espacial a través de modelos de difusión pre-entrenados. Esta técnica surge para resolver las limitaciones de los métodos actuales que no logran equilibrar la preservación del contenido y la inyección de estilo, elementos cruciales en la fusión de la imagen estilística.
A diferencia de los métodos existentes que dependen de redes entrenadas específicamente o modelos pre-entrenados, DiffuseST aplica una técnica de inversión DDIM que extrae características espaciales intermedias tanto del contenido como del estilo, permitiendo preservar la estructura original mientras se aplica el estilo deseado. La separación de la inyección de contenido y estilo en ramas diferentes del modelo mejora el balance entre las características artísticas del estilo y la preservación del contenido.
El enfoque propuesto no solo es novedoso, sino también práctico, al ser completamente libre de entrenamiento. Esto reduce significativamente el coste de tiempo y memoria en comparación con los modelos que requieren ajustes finos y fases de optimización prolongadas.
En experimentos comparativos, DiffuseST ha demostrado superioridad no solo en la calidad estilizada sino también en su robustez, pudiendo generar imágenes que conservan mejor la estructura original al tiempo que logran un estilo armonioso.
Usando el generador de texto-imagen BLIP-2, los investigadores han podido algoritmizar de manera eficaz las características visuales alineadas con el texto del estilo de imagen. Asimismo, los modelos de difusión, que emplean un proceso iterativo de descomposición del ruido en el espacio latente, han facilitado esta interacción multimodal, resultando en síntesis de alta calidad sin entrenamiento adicional.
Los resultados de este enfoque podrían implicar importantes avances en tareas de edición de imágenes y aplicaciones artísticas, ofreciendo un equilibrio entre estética y originalidad, y potenciales extensiones hacia la edición controlada por usuario.