La evaluación de la creatividad en ciencia y tecnología es un proceso complejo que los expertos en el campo han intentado desentrañar a través de múltiples investigaciones. En busca de comprender los sesgos y procesos cognitivos que median estas evaluaciones, un grupo de investigadores llevó a cabo dos experimentos que analizan cómo la adición de soluciones de ejemplo afecta las evaluaciones de creatividad en el ámbito STEM.

El primer estudio se centró en expertos con formación en ciencia o ingeniería. Los participantes, 72 expertos, fueron divididos en dos grupos: uno que recibió ejemplos de soluciones con calificaciones y otro que no recibió ejemplos. Los resultados mostraron que el grupo sin ejemplos utilizó más lenguaje comparativo y enfatizó más la infrecuencia de las soluciones, posiblemente apoyándose en la recuperación de recuerdos para sus evaluaciones. Esto sugiere que la ausencia de ejemplos puede provocar que los evaluadores confíen más en su memoria para realizar comparaciones.

Un segundo estudio examinó los patrones de evaluación de creatividad en los modelos de lenguaje grande (LLMs). Estos modelos priorizaron la infrecuencia y la distancia temática de las ideas al calificar la originalidad. En la condición de ejemplo, la precisión de los LLMs en predecir las verdaderas puntuaciones de originalidad mejoró significativamente, sugiriendo una homogenización en sus evaluaciones.

Los resultados resaltan divergencias significativas entre las evaluaciones de creatividad realizadas por humanos y LLMs, revelando preferencias diferentes sobre los aspectos que diversas poblaciones priorizan. Esto tiene implicaciones relevantes tanto para la investigación en creatividad como para el desarrollo de sistemas de IA que puedan mejorar la evaluación creativa en STEM.

En conclusión, las diferencias encontradas entre humanos y LLMs sugieren que, aunque los modelos de IA pueden igualar o superar la precisión humana en ciertos contextos, todavía existe una brecha en la comprensión cualitativa de los procesos evaluativos por parte de la inteligencia artificial. Comprender y ajustar estos procesos podrida impulsar una prospectiva más armoniosa entre la creatividad humana y la automación, abriendo un interesante campo de interacción donde IA y humanidad podrían lograr conjuntamente innovaciones creativas más integradas.