En un esfuerzo por confrontar y mitigar las inequidades que los Modelos de Lenguaje a Gran Escala (LLM) pueden manifestar debido a sesgos sociales, un grupo de investigadores ha desarrollado el marco MLA-BiTe. Este conjunto de herramientas se ha centrado en evaluar sistemáticamente el sesgo en modelos lingüísticos a través de una amplia variedad de idiomas, desde lenguas ampliamente representadas hasta aquellas con menos recursos.

El reciente estudio utilizó este marco para poner a prueba modelos LLM en idiomas como el inglés, español, francés y alemán, también abarcando lenguas de menor representatividad como el catalán y el luxemburgués. Los investigadores analizaron cómo estos modelos procesaban temas sensibles agrupados en categorías como racismo, sexismo, y lgbtiqfobia, entre otros.

La implementación de MLA-BiTe se llevó a cabo utilizando Python 3.11, y se realizaron pruebas con modelos de última generación como GPT-4o y Gemini 1.5 Flash. La elección del modelo y la configuración fue resultado de una cuidadosa evaluación de traducciones y parafraseos hechos por los LLMs. Uno de los hallazgos clave fue que, aunque los modelos obtenían mayor precisión en lenguas con más recursos lingüísticos, existía una tendencia a que presentaran mayores sesgos en las de menos recursos.

Un aspecto destacable fue la selección de idiomas para las pruebas: mientras que el inglés y el español, como lenguas de alta presencia bibliográfica, mostraron resultados más estables y certeros, lenguas menos representadas como el luxemburgués y el catalán revelaron una inestabilidad en categorías tales como racismo y política.

En términos generales, ciertas categorías como la xenofobia y la lgtbiqfobia presentaron tasas de detección más altas, sugiriendo que quizás estos temas poseen una terminología más universal que permite una mejor identificación. Sin embargo, la política y el sexismo demostraron ser más variables, las pruebas revelan una interesante diversidad en la forma en que los modelos abordan estos sesgos, que no siempre depende estrictamente del idioma en cuestión.

Lo que emerge de este estudio es una clara evidencia de que, a pesar de contar con capacidades de procesamiento de lenguaje natural avanzadas, los modelos pueden perpetuar sesgos cuando operan en idiomas con menos tradición en los corpus de entrenamiento. La implementación de MLA-BiTe ha brindado una herramienta valiosa para identificar y abordar estas inequidades, permitiendo que el diseño de LLM avance hacia un futuro más justo e inclusivo.