En un estudio reciente, investigadores del Laboratorio Estatal de Inteligencia Artificial General en China han profundizado en el comportamiento de los Grandes Modelos de Lenguaje (LLMs). Estos modelos, cada vez más presentes en tareas como el análisis de texto psicológico y la toma de decisiones automatizadas, presentan desafíos significativos de fiabilidad debido a sesgos inherentes. La investigación se centró en cómo varían las respuestas de estos modelos cuando son analizadas bajo formatos binarios frente a formatos continuos.
En el primer experimento, se utilizaron 210 afirmaciones de valor para evaluar juicios subjetivos. Los LLMs desempeñaron un papel clave, simulando respuestas humanas bajo dos condiciones: respuestas binarias, de apoyo u oposición, y escalas continuas de 0 (totalmente contrario) a 10 (totalmente de acuerdo). Resultó que, en el formato binario, los modelos demostraron un sesgo hacia responder “no”, revelando así un marcado sesgo negativo. Este hallazgo persistió incluso después de ensayos de control que alteraron las etiquetas de respuesta. Los estudios indicaron que al cambiar a este formato binario, el porcentaje de respuestas “positivas” disminuyó significativamente de 74.5% a 60.7%.
El segundo experimento incidió en el análisis de sentimiento mediante titulares de noticias, utilizando una escala Likert y también respuestas binarias. Se observó algo similar a los hallazgos del primer experimento: las opiniones “positivas” se redujeron del 39.9% a solo el 24.6% cuando se les dio un formato binario “controlado”. Al usar el etiquetado contrario, como “No” para positivo, la tendencia se invirtió, con una predisposición a responder “No”. Estos resultados fueron comparables a las evaluaciones de siete anotadores humanos.
Los desafíos observados sugieren que, cuando se trata a los LLMs como asistentes de toma de decisiones, el formato respuesta juega un papel crucial. Además, estas inconsistencias podrían exacerbarse en campos de delicada toma de decisiones como la terapia o el asesoramiento. A medida que el uso de LLMs cobra relevancia, se hace esencial abordar y mitigar estos sesgos. Adicionalmente, se sugirió la implementación de ajustes posteriores a la ejecución para alinear las salidas de los modelos con las interpretaciones esperadas, así como la investigación de diseños de tareas que eviten opciones binarias con posibles patrones no deseados.
En conclusión, los resultados destacan que, al aplicar LLMs, el diseño de la tarea debe considerar firmemente el formato del respuesta. Cualquier pequeño ajuste puede introducir sistemáticamente sesgos que afecten la fiabilidad en decisiones críticas. Los descubrimientos ilustran el impacto de estos modelos de lenguaje entrenados con vastos conjuntos de datos textuales y abren la puerta para exploraciones futuras sobre cómo identificar y contrarrestar eficazmente estas limitaciones en aplicaciones de inteligencia artificial.