El proyecto GIE-Bench, encabezado por Yusu Qian y su equipo, introduce una innovadora forma de evaluar modelos de edición de imágenes guiados por texto, buscando abordar las limitaciones de las métricas actuales como CLIP. La novedad de este enfoque radica en su método de evaluación en dos dimensiones: la corrección funcional y la preservación del contenido, utilizando preguntas de opción múltiple y una técnica de enmascarado consciente del objeto.

El estudio incluye más de 1000 ejemplos de edición de alta calidad, abarcando 20 categorías de contenido diferentes, desde rostros humanos hasta arquitectura y alimentos. El protocolo de evaluación se centra en juzgar si los modelos de edición ejecutan correctamente las instrucciones proporcionadas, así como en medir la capacidad de los modelos para mantener intactas las áreas no destinadas a la edición.

Una evaluación a gran escala comparó el modelo GPT-Image-1 de OpenAI contra otras tecnologías de vanguardia, destacándose este modelo por su precisión en seguir instrucciones, aunque también se identificó que tiende a sobreeditar regiones irrelevantes, un aspecto capturado por las métricas de preservación de GIE-Bench.

Con su metodología, GIE-Bench busca mejorar las evaluaciones existentes al ofrecer una estructura escalable y reproducible para avanzar en la precisión de la edición de imágenes guiadas por texto, diferenciando entre modelos que logran cambios precisos y aquellos que evitan alteraciones no intencionadas en las imágenes.

Conclusión: GIE-Bench constituye un paso crucial hacia modelos de edición de imágenes más precisos y menos invasivos, prometiendo mejorar la calidad visual y la adherencia a las instrucciones. Los resultados subrayan la necesidad permanente de equilibrar la presentación visual y la fidelidad a las instrucciones, un reto constante para la evolución de la edición basada en lenguaje natural.