Un reciente estudio realizado por un equipo de investigadores de la Universidad Carnegie Mellon ha puesto bajo la lupa cómo los grandes modelos de lenguaje (LLM, por sus siglas en inglés) generan restricciones raciales en las recomendaciones personalizadas de chatbots, un fenómeno que parece mantenerse vigente tanto si los usuarios revelan de manera implícita o explícita su identidad. A través de una metodología que combina diversas señales de identidad, el estudio analizó las respuestas de varios LLM a las solicitudes de recomendaciones académicas o de vivienda de diversos grupos raciales, señalando un sesgo omnipresente y desalentador.
El estudio destaca que, ante peticiones relativas a qué universidad considerar, cuando los usuarios identificaban explícitamente su raza, los modelos solían proponer instituciones históricamente negras (HBCUs) para los usuarios que mencionaban su raza como negra, por ejemplo, Howard University o Morehouse College. Sin embargo, lo verdaderamente preocupante es que incluso sin identificación explícita, los algoritmos tendían a formular recomendaciones racialmente estereotipadas cuando dichas características eran implícitas, como al mencionar asociaciones o actividades vinculadas a una identidad racial.
Las inconsistencias observadas entre lo que los usuarios revelan y lo que los modelos asumen sobre sus preferencias marcan un punto importante en la discusión sobre IA y justicia. A pesar de que los LLM son programados para igualar las preferencias del público más amplio, las respuestas generadas reflejan una alineación demográfica sesgada, lo que en algunos casos amplifica los estereotipos y diferencia las recomendaciones dadas incluso en contextos de raza no revelada. Se encontró que para los usuarios blancos, las instituciones de recomendación casi siempre incluían las universidades predominantemente blancas, un sesgo que pone en relieve las fallas actuales de estos sistemas para personalizar de una manera objetiva e imparcial.
Los investigadores hicieron hincapié en la necesidad de que los desarrolladores de chatbots ofrezcan transparencia en sus recomendaciones, indicando cuándo la raza o identidad del usuario pueden haber influido en sus respuestas. El estudio también señala la importancia de reevaluar cómo estos modelos pueden reconciliar la personalización necesaria con las preocupaciones por el sesgo racial. A medida que avanzamos hacia un mundo más digital, el discernimiento de los sesgos raciales en las recomendaciones de IA será esencial para garantizar una experiencia de usuario más justa y equitativa. Es imperativo que futuras revisiones de estos modelos incluyan mejoras que fortalezcan la transparencia y reducan la perpetuación involuntaria de estereotipos raciales a través de la tecnología de inteligencia artificial.