El estudio titulado “Mitigating Gender Bias in Code Large Language Models via Model Editing” aborda una problemática crítica que ha emergido con la rápida evolución de los modelos de lenguaje a gran escala utilizados en la generación de código: el sesgo de género.
Para analizar este fenómeno, el equipo de investigación, compuesto por académicos de diversas universidades chinas, ha desarrollado un conjunto de datos denominado “CodeGenBias” y un métrico de evaluación innovador conocido como “FB-Score” (Factual Bias Score). El objetivo es medir y analizar el grado de sesgo de género que presentan ocho modelos de lenguaje de programación (LLMs).
Los datos de entrenamiento para estos modelos, a menudo insensibles a los sesgos sociales, llevan a que se reproduzcan y amplifiquen estereotipos y desigualdades en el código generado. En uno de los ejemplos presentados, un modelo LLM crea un sesgo a favor de las mujeres del 73,32% cuando se le solicita encontrar enfermeras destacadas, en comparación con solo el 1,19% a favor de los hombres bajo el mismo contexto.
La investigación demuestra que los métodos tradicionales de entrenamiento y depuración no son suficientes para combatir estos problemas de sesgo social. Sin embargo, las perspectivas de modelación a través de la edición de modelos abren una ventana de oportunidad. Entre las soluciones propuestas, la metodología “MG-Editing” (Multi-Granularity model Editing) destaca por su capacidad para localizar y editar elementos con predisposición sesgada en los modelos.
Las pruebas comprenden diferentes niveles de granularidad, desde el nivel de parámetros completos hasta el nivel neuronal específico dentro de las redes profundas. Los resultados experimentales no solo validan la eficacia del método MG-Editing para reducir el sesgo de género, sino que también mantienen, en gran medida, la capacidad de estos modelos para generar código válidamente.
Los hallazgos arrojan luz sobre la necesidad de continuar desarrollando modelos y metodologías que no solo sean eficaces desde el punto de vista técnico, sino que también sean justos y reflectivos de la realidad social. Al entender y abordar de raíz los sesgos en los sistemas automatizados de generación de código, se puede aspirar a un ecosistema de programación más justo y equitativo.