Los Modelos de Lenguaje Extenso (LLMs, por sus siglas en inglés) han demostrado un notable desempeño en tareas de lenguaje natural, pero su efectividad en el razonamiento sobre datos tabulares sigue siendo un área de debate. Investigaciones recientes han sacado a relucir las limitaciones de los modelos actuales frente a la complejidad de este tipo de tareas y cómo se ven afectados por características y variaciones en la estructura de las tablas.
Un estudio innovador ha utilizado el procedimiento “LLM-como-juez”, mostrando que este método proporciona una evaluación más fiable que las métricas de texto libre tradicionales como SacreBleu y BERT-score, que tienen dificultad para distinguir correctamente entre respuestas generadas por LLMs que son correctas e incorrectas. Este enfoque alternativo, al ser calibrado con anotaciones humanas, ha ayudado a destapar un déficit significativo en las capacidades de razonamiento tabular de los modelos.
Al examinar la robustez de los LLMs, se ha encontrado que la precisión de estos modelos disminuye a medida que aumenta el tamaño de los datos tabulares. Tareas más complejas como el cálculo de medias y correlaciones son particularmente desafiantes para los modelos probados, con excepción del GPT-4o-mini, que ha mostrado un rendimiento más consistente. Estos resultados sugieren que, mientras los LLMs pueden realizar tareas básicas de búsqueda de entidades, su capacidad para llevar a cabo cálculos más sofisticados sufre importantes deficiencias.
También se examinó cómo los modelos enfrentan situaciones comunes en los datos tabulares, como valores faltantes, entidades duplicadas y variaciones estructurales, que son frecuentes en el mundo real. Los resultados indicaron que la precisión de los LLMs se ve afectada de manera variable por estos factores. Deficiencias significativas se presentaron en la capacidad de los modelos para reconocer y manejar estas características de forma adecuada, lo que podría llevar a errores en el uso en aplicaciones prácticas.
En conclusión, aunque los Modelos de Lenguaje Extenso han mostrado potencial en el razonamiento sobre datos tabulares, estas exploraciones recientes subrayan la necesidad de mejoras sustanciales en la precisión y robustez de estos modelos. Mejorar estas áreas permitirá una aplicación más confiable de los LLMs en la interpretación de datos tabulares, lo que es vital para seguir expandiendo su utilidad en diferentes sectores.