En un estudio reciente, un equipo de investigadores de la Universidad Nacional de Singapur y la Universidad de Ciencia y Tecnología de Huazhong ha examinado profundamente el funcionamiento de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) y su tendencia a ser demasiado confiados y a amplificar los sesgos humanos. Para ello, se utilizaron protocolos automáticos para ejecutar problemas de razonamiento con respuestas conocidas y se midió la confianza de los LLM en sus respuestas.
Los resultados revelaron que todos los modelos LLM evaluados sobreestiman significativamente la probabilidad de que sus respuestas sean correctas, alcanzando un exceso de confianza que varía entre un 20% y un 60%. A pesar de que los humanos muestran un nivel de precisión similar al de los modelos más avanzados, presentan menor sobreconfianza. Sin embargo, cuando los LLMs y los humanos están menos seguros de las respuestas, la confianza de los LLM aumenta, a diferencia de los humanos que se vuelven más cautelosos.
Se descubrió que la entrada de LLMs genera efectos ambiguos en la toma de decisiones humanas. Aunque los LLMs pueden aumentar la precisión de los humanos al proporcionar perspectivas nuevas y objetivas, también duplican la extensión de la sobreconfianza humana.
Esta investigación también evaluó cómo la exposición a las respuestas de los LLM afecta a los humanos. Se indicó que, si bien la exposición mejora la precisión entre un 5.6% y un 7%, la confianza en las respuestas humanas aumentó incluso más, aumentando así el sesgo. Esto ha sugerido que las percepciones sobre la valía de las respuestas de los LLM pueden influir negativamente en el juicio humano.
En conclusión, los LLM proporcionan una herramienta potente para mejorar la precisión de las respuestas en tareas específicas, pero presentan un desafío al imbuir de manera inadvertida un exceso de confianza en la toma de decisiones humanas. Es esencial que quienes interactúan con estos sistemas sean conscientes de estas peculiaridades para evitar una dependencia excesiva e inapropiada. Innovaciones futuras deben centrar sus esfuerzos en minimizar esta sobreconfianza e integrar mecanismos correctivos para potenciar un uso más seguro y efectivo de estas tecnologías.