En un estudio reciente, se ha buscado responder si los modelos de lenguaje de gran escala, como GPT-4, pueden equipararse o superar el razonamiento analógico humano en la toma de decisiones estratégicas. En un diseño experimental novedoso, los investigadores evaluaron el modelo GPT-4 y su capacidad para identificar analogías relevantes, comparándolo con la participación de humanos en escenarios de toma de decisiones empresariales.
El estudio reveló que mientras GPT-4 es capaz de recuperar un conjunto amplio de analogías al identificar patrones de similitud superficial, tiende a presentar un alto número de analogías incorrectas debido a una baja precisión. Por contraste, los humanos mostraron alta precisión al identificar analogías adecuadas, pero a menudo omiten identificar muchas posibilidades relevantes, mostrando así una baja capacidad de recuperación.
A través del uso de gráficos acíclicos dirigidos (DAG) y un análisis de matrices de confusión, se identificó que los errores de GPT-4 provienen principalmente de una detección superficial, mientras que los errores humanos implican malentendidos más profundos de la causalidad. Esta diferencia señala la existencia de un patrón claro de rendimiento: mientras los LLM son generadores efectivos de propuestas analógicas, los humanos sobresalén aplicando el contexto relevante a estas analogías.
Los resultados sugieren un potencial sinérgico en la combinación de las fortalezas de ambos agentes de razonamiento. GPT-4 puede tomar el papel de un generador de candidatos a analogías, mientras los humanos se encargan de evaluar críticamente y seleccionar aquellas más resonantes con el contexto específico de una situación.
Dado el rápido desarrollo tecnológico, la eficacia superior de los LLM en el ámbito de la recuperación de analogías seguramente permanecerá. Sin embargo, hasta que no se supere el desempeño humano en la detección de similitud estructural, la intervención humana seguirá siendo crucial para el éxito de la transferencia analógica en la toma de decisiones estratégicas dentro de las organizaciones.