Resumen del proceso de evaluación de Grandes Modelos de Lenguaje en tareas de razonamiento, destacando las necesidades de mejorar procedimientos mediante análisis de subpensamientos. El estudio, realizado en los datasets AIME2024 y AIME2025, expone lo siguiente.

En primer lugar, se genera una traza completa de razonamiento a través de un modelo lingüístico, identificando pasos intermedios, denominados subpensamientos, los cuales se segmentan siguiendo marcadores lingüísticos específicos. Por cada subpensamiento, se recalcula un posible resultado utilizando distintas estrategias de muestreo, tanto determinísticas como aleatorias.

Los estudios muestran que estas intervenciones presentan resultados de mayor precisión, alcanzando mejoras de hasta un 13% en precisión comparado con el método clásico que solo evaluaba la respuesta final ofrecida por el modelo a partir de una traza de razonamiento completa.

El análisis de la distribución de respuestas derivadas de estos subpensamientos revela que la coherencia en los resultados se correlaciona con un alto nivel de confianza y precisión en las respuestas finales. Por otro lado, una alta variabilidad sugiere posibles errores o inestabilidad en el proceso de razonamiento.

La aplicación de estrategias que seleccionan la respuesta más frecuentemente generada a través de distintos subpensamientos demuestra mejoras sustanciales. En particular, utilizando estrategias de generación no determinísticas se observa una mayor diversidad en los caminos de razonamiento explorados por el modelo, lo que resulta en una mayor robustez y confianza en la conclusión final.

Estos resultados invitan a reconsiderar las prácticas evaluativas de modelos de lenguaje, sugiriendo que el análisis de consistencia en los pasos intermedios podría ser clave para optimizar el rendimiento y la exactitud de las salidas generadas por dichos modelos.