Un reciente estudio realizado por investigadores de Yale University, University of Maryland y otros destacados centros, revela descubrimientos fascinantes sobre las capacidades de razonamiento de los modelos de lenguaje de gran escala (LLMs) al abordar acertijos matemáticos y lógicos. A través del nuevo conjunto de datos denominado B RAINTEASER, los científicos han profundizado en los procesos de razonamiento que utilizan estos modelos, descubriendo que muchas veces optan por estrategias de fuerza bruta en lugar de soluciones creativas.

La investigación analizó cómo los modelos traducen descripciones verbales a representaciones matemáticas formales, generan soluciones, y verifican su precisión comparándolas con soluciones oficiales. Sorprendentemente, aunque los LLMs pueden encontrar soluciones detalladas usando pasos secuenciales, a veces eligen opciones menos eficientes, ignorando métodos más rápidos y creativos.

Al examinar problemas de razonamiento a través de acertijos, el estudio encontró que los modelos a menudo se enfrentan a dificultades cuando deben corregir soluciones basadas en resultados oficiales. A pesar de contar con la capacidad de generar soluciones correctas, aún dependen en gran medida de métodos de exploración exhaustiva cuando se enfrentan a problemas complejos que podrían resolverse más fácilmente con metodología creativa.

La construcción del conjunto de datos B RAINTEASER, que evalúa el razonamiento estructurado, fue una tarea meticulosa que involucró expertos en resolución de problemas. Diseñado para evitar depender excesivamente en la memorización de fórmulas, pone a prueba las habilidades de razonamiento matemático y lógico de los modelos.

Además, los resultados también destacan que el uso de sugerencias estructuradas es eficaz para guiar el pensamiento de los modelos hacia observaciones intermedias críticas. Sin embargo, las advertencias elaboradas para desalentar el uso de fuerza bruta tuvieron un beneficio mínimo.

Finalmente, el estudio concluye que aunque los modelos LLMs más avanzados son capaces de desarrollar soluciones detalladas y correctas utilizando resúmenes de pasos, la dependencia de estrategias de fuerza bruta sigue siendo predominante, indicando un área clave para futuras mejoras en la capacidad de razonamiento de estos modelos.