Un estudio reciente revela importantes disparidades de género en los métodos de explicación post-hoc aplicables a los modelos de lenguaje natural. Investigadores de la Universidad Técnica de Múnich y la Universidad Técnica de Berlín han realizado una exhaustiva evaluación que revela estas diferencias significativas en la interpretación de modelos de lenguaje, sin importar un entrenamiento con datos considerados imparciales. La investigación evaluó seis métodos de atribución de características en cincos modelos de lenguaje diferentes, utilizando diversas métricas que abarcan fidelidad, robustez y complejidad de las explicaciones.

Los resultados indican que, incluso en contextos de entrenamiento en datos libre de sesgos, existe una notable disparidad de género en el rendimiento de los métodos explicativos, que afecta la precisión con la que las explicaciones reflejan el funcionamiento interno de los modelos. Esta desigualdad persiste a través de distintas métricas utilizadas para medir la calidad de las explicaciones, especialmente observadas en la fidelidad y complejidad de estas.

Las implicaciones de este sesgo son preocupantes, particularmente en contextos donde explicaciones erróneas pueden impactar decisiones críticas, como en entornos legales o médicos. A pesar de mejorar la interpretación subjetiva de los modelos, estas herramientas explicativas muestran una variación injusta en su eficacia entre subgrupos demográficos, con diferencias potencialmente peligrosas cuando se trata de componentes tanto críticos como éticos.

El estudio destaca la urgencia de integrar requisitos de igualdad de explicaciones dentro de marcos regulatorios existentes, reforzando la necesidad de que los sistemas explicativos sean evaluados más allá de la equidad a nivel de modelo. A medida que las soluciones de inteligencia artificial continúan permeando sectores vitales de la sociedad, garantizar que sus mecanismos internos sean justos y equitativos es crucial para mitigar escenarios de discriminación inadvertida.