La evolución de la Inteligencia Artificial ha alcanzado un nuevo nivel, enfocándose no solo en el rendimiento de los modelos, sino también en cómo estos pueden mejorar la experiencia humana en aplicaciones reales. Esta tendencia ha llevado a la comunidad investigadora a proponer un marco de Evaluación Centrado en el Humano (HCE) para evaluar los modelos fundamentales.

El estudio propone una evaluación subjetiva que abarca tres dimensiones fundamentales: la capacidad de resolver problemas, la calidad de la información y la experiencia de interacción. Estas dimensiones buscan que los modelos no solo funcionen bien en métricas objetivas, sino que también se ajusten a las expectativas y necesidades humanas.

Para realizar esta evaluación, se realizaron experimentos con los modelos Grok 3, Deepseek R1, OpenAI o3 mini y Gemini 2.5, involucrando a más de 540 participantes que interactuaron con estos modelos en diversas tareas relacionadas con la investigación. Los participantes prestaron atención a la adaptabilidad de los modelos en diversas disciplinas, la eficiencia de asistencia, y la relevancia y profundidad de la información proporcionada.

Grok 3 se destacó en la mayoría de las disciplinas con un rendimiento sobresaliente en la capacidad de resolver problemas y la fiabilidad de la información. Gemini 2.5 demostró ser competitivo en finanzas y ciencias sociales, mientras que DeepSeek R1 y OpenAI o3 mini mostraron fortalezas particulares en áreas como inteligencia artificial y medicina, respectivamente.

Uno de los hallazgos más notables de este estudio fue la influencia significativa que tiene la interacción y el estilo de comunicación del modelo en la experiencia del usuario. Muchos participantes reportaron una mayor vinculación emocional con interacciones que incluían preguntas retóricas y expresiones motivacionales.

En conclusión, esta nueva metodología de evaluación subraya la importancia de incluir criterios de experiencias humanas para la optimización de modelos de IA. A su vez, sienta las bases para futuras investigaciones que integren métricas subjetivas y objetivas, buscando un equilibrio que permita a los modelos evolucionar no solo tecnológicamente, sino también en términos de utilidad y aceptación humana.