Una innovación prometedora en la mitigación del sesgo de los anotadores en Inteligencia Artificial (IA) proviene del trabajo de Terne Sasha Thorn Jakobsen y su equipo de investigación. El estudio investiga cómo la recopilación de creencias sobre los juicios de otros en vez de los juicios directos puede reducir el sesgo sistemático que emerge de las diferencias en los antecedentes socio-demográficos de los anotadores.

Es sabido que las anotaciones, esenciales para el avance en procesos de lenguaje natural en IA, pueden contener sesgos inherentes. Estos sesgos surgen de discrepancias sistemáticas entre anotadores debido, principalmente, a sus distintas perspectivas socio-demográficas. Por ejemplo, al etiquetar argumentos sobre temas controvertidos, como el cambio climático o la pena de muerte, las inclinaciones políticas de los anotadores pueden influir en sus juicios.

La metodología del estudio plantea reemplazar los juicios directos por creencias sobre cómo otros anotadores calificarían un argumento. Los investigadores llevaron a cabo dos experimentos controlados que involucraron a 1,590 participantes demócratas y republicanos. Cada grupo anotó declaraciones viendo si se trataban de argumentos y luego ofrecieron sus creencias sobre cómo el otro grupo y el propio responderían al mismo desafío.

Los resultados del estudio revelaron que pedir a los anotadores que especulen sobre las percepciones de otros disminuye significativamente el sesgo en sus calificaciones. Al parecer, al pedir a los anotadores pensar cómo podrían decidir los demás, se eliminan parcialidades iniciales al integrar perspectivas más diversas. Esto podría dotar a los sistemas de IA de una mayor representatividad y equidad, ya que consiguen eliminar la supresión de perspectivas de grupos minoritarios.

En un mundo donde la IA está cada vez más imbricada en nuestras vidas, el enfoque de elicitar creencias como método para obtener etiquetas de datos más confiables presenta un avance crucial para evitar posibles daños a grupos no representados. En particular, este proceso no depende de un gran número de anotadores, lo cual favorece su viabilidad en un amplio espectro de proyectos de IA.

Conclusión: La implementación de este método antes del desarrollo de los modelos de IA no solo hace los sistemas más justos, sino que también optimiza el uso de recursos, volviéndose un agregado valioso a la caja de herramientas de los desarrolladores de IA.