El auge de los modelos generativos de texto a imagen (T2I) ha revolucionado la capacidad de las máquinas para crear imágenes fotorealistas a partir de descripciones textuales. Sin embargo, un reciente estudio llevado a cabo por investigadores de Algoverse AI Research ha puesto de manifiesto cómo estos sistemas perpetúan y amplifican sesgos culturales presentes en su conjunto de datos de entrenamiento.

La investigación se centró en evaluar más de 2,400 imágenes generadas a partir de modelos T2I mediante un nuevo índice llamado Component Inclusion Score (CIS), diseñado para medir la precisión y fidelidad cultural de las imágenes generadas. Uno de los hallazgos más destacados fue que existe una significativa degradación contextual y fragilidad composicional al incluir elementos culturales no occidentales. Esto implica que los modelos generan, con frecuencia, representaciones desalineadas y erróneas de culturas no occidentales, mientras favorecen en su salida a elementos de culturas occidentales.

Los problemas identificados surgen de varias fallas sistemáticas, entre las que destacan el sesgo incorporado en los conjuntos de datos masivos como el LAION-5B, que contienen un número desproporcionado de referencias culturales occidentales en comparación con las africanas o asiáticas. Además, las limitaciones técnicas de las arquitecturas de transformers exacerban estos problemas. Conceptos culturales se comprimen en espacios latentes superpuestos, lo que impide su correcta representación.

A pesar de las intervenciones actuales para mitigar estos sesgos, como el ajuste fino de capas de atención y el equilibrio de conjuntos de datos, las soluciones no han logrado abordar la raíz del problema de manera efectiva. Se concluye que las estrategias arquitectónicas deben contemplar la naturaleza compleja e interconectada entre los datos, la dinámica de los transformers y la semántica cultural.

El informe subraya la urgencia de desarrollar modelos de inteligencia artificial más inclusivos y justos y proporciona una base sólida para diseñar futuras intervenciones centradas tanto en el diseño arquitectónico como en intervenciones basadas en datos.