Investigadores de las universidades de Michigan State y del Sur de California están revolucionando el campo de la evaluación educativa con la propuesta de GradeHITL, un sistema que combina modelos de lenguaje de gran escala (LLMs) con la interacción humana para mejorar la precisión en la corrección de respuestas cortas. El estudio demuestra que el sistema integrado permite una mayor adaptabilidad en los criterios de evaluación, logrando una precisión que se acerca al nivel humano en las evaluaciones educativas.

GradeHITL utiliza la capacidad generativa de los LLMs para formular interrogantes a expertos humanos, incorporando sus respuestas para enriquecer continuamente los criterios de evaluación y superar las limitaciones de los métodos automáticos plenos. Este enfoque mejora notablemente los resultados de las calificaciones, superando a las metodologías existentes.

Un componente crucial del sistema es la interacción humano-máquina, donde las preguntas generadas por los LLMs son validadas y refinadas a través de retroalimentación humana, asegurando estándares de evaluación controlables y de alta calidad. Una novedad es el uso del aprendizaje por refuerzo para filtrar preguntas de baja calidad, garantizando que sólo las preguntas más valiosas guíen la optimización de los criterios de evaluación.

Mediante experimentos con seis preguntas seleccionadas, se demostró que GradeHITL no solo mejora la precisión, sino que también supera las limitaciones anteriores, como la interpretación imprecisa de términos específicos del dominio educativo, gracias a la integración de la retroalimentación humana.

En conclusión, GradeHITL es una solución prometedora que une inteligencia artificial y pericia humana en la educación, logrando una calibración más precisa de los métodos de evaluación automatizados. Este enfoque podría redefinir la manera en que se implementan y aplican las evaluaciones en contextos educativos, destacando la importancia del factor humano en la mejora de los sistemas de inteligencia artificial.