Investigadores de diversas universidades han desarrollado un sistema que supera a expertos humanos en predecir cuál de dos ideas de investigación en IA será más efectiva. Esta técnica consiste en un modelo de lenguaje especialmente entrenado para analizar papers de conferencias y generar predicciones sobre cuál idea triunfaría en base a benchmarks específicos. Esta herramienta representa un nuevo avance para acelerar las investigaciones empíricas en inteligencia artificial.

El trabajo recauda un total de 1,585 pares de ideas verificados por humanos para usarlos como ejemplos de prueba. Esto garantiza que la evaluación sea precisa y carente de contaminación de datos antiguos. Entre las pruebas realizadas, el modelo mostró una impresionante tasa de aciertos del 77% al predecir el éxito de nuevas ideas, lo cual es notablemente superior al desempeño de humanos que predijeron correctamente en un 48.9% de los casos.

El sistema utiliza una combinación de un modelo de lenguaje afinado junto con un agente de recuperación de documentos, el cual recopila y analiza información de investigaciones previas para informar su predicción. A través de un proceso de numerosas pruebas de estrés, se verifica que el modelo no confía en características superficiales como la complejidad del lenguaje o la antigüedad de la idea.

Para aumentar la transparencia del modelo, los desarrolladores introdujeron verificaciones a cargo de alumnos de informática para asegurar la calidad de los ejemplos. Además, implementaron un mecanismo de evaluación cruzada para reducir errores humanos en el proceso de rotulación de resultados.

Por otro lado, el sistema también ha demostrado ser efectivo a la hora de manejar ideas completamente inéditas, consiguendo un 63.6% de precisión en ideas que no se han publicado previamente, abriendo un amplio espectro de posibilidades para optimizar procesos en sistemas automatizados de investigación.

En conclusión, el desarrollo de sistemas de predicción para resultados de investigaciones empíricas en IA promete reducir el tiempo y los recursos necesarios para seleccionar ideas prometedoras, permitiendo concentrar esfuerzos en aquellas propuestas con más potencial. Con estas mejoras, el mundo científico podría estar en camino hacia una era de descubrimientos más rápida y eficiente.