Investigadores de diversas universidades han planteado un urgente cambio en la evaluación de los modelos de lenguaje en el ámbito financiero, subrayando que el enfoque debe centrarse en el perfil de riesgo en lugar de las métricas de rendimiento tradicionales. Este cambio de perspectiva es esencial para identificar vulnerabilidades que, aunque pasadas por alto en las evaluaciones convencionales, podrían llevar a pérdidas millonarias.

Los sistemas financieros son inherentemente complejos y dinámicos, donde errores menores pueden tener repercusiones catastróficas. Las aplicaciones de IA que puntúan bien en los benchmarks convencionales corren el riesgo de alucinar datos, referirse a información obsoleta o ser manipulados mediante solicitudes adversas, lo que pone en peligro a las instituciones financieras.

Para abordar este desafío, se ha propuesto un enfoque de evaluación basado en el riesgo, que se estructura en tres niveles: a nivel de modelo, para detectar vulnerabilidades intrínsecas como alucinaciones y sobreconfianza; a nivel de flujo de trabajo, para auditar la propagación de errores y la sensibilidad a las solicitudes; y a nivel de sistema, para evaluar la resiliencia frente a degradaciones de datos y fallos de herramientas.

Este enfoque fue demostrado en la práctica mediante experimentos con agentes LLM en tareas de alto impacto, destacando fallos ocultos que pasan desapercibidos para los benchmarks tradicionales. Así, se recomienda encarecidamente a investigadores y reguladores implementar un cambio de paradigma hacia una auditoría centrada en el riesgo como norma estándar de evaluación en aplicaciones críticas de IA.

Finalmente, se concluye que, para avanzar de manera responsable en el uso de la inteligencia artificial en finanzas, es crucial redefinir qué se considera una buena evaluación, priorizando la seguridad sobre la simple eficiencia. Sin estas auditorías de riesgo, el potencial de la IA sigue siendo considerable, pero peligrosamente subprotegido.