En un esfuerzo por mejorar la interacción entre agentes de inteligencia artificial (IA) y sistemas de tutoría inteligentes (ITS), investigadores del Instituto de Tecnología de Georgia han desarrollado TutorGym. Este innovador marco permite a los agentes de IA ser evaluados tanto como tutores como simuladores de estudiantes en ambientes de aprendizaje existentes, como los tutores CTAT, Apprentice Tutors y OATutors.
TutorGym se distingue al ofrecer un enfoque más profundo que los benchmarks tradicionales, ya que sitúa a los agentes de IA en interfaces interactivas. Durante la resolución de problemas, los agentes deben demostrar su capacidad para actuar tanto como tutores ofreciendo consejos y ejemplos, como estudiantes aprendiendo de los ITS. Las evaluaciones iniciales han mostrado que, aunque los modelos de lenguaje a gran escala (LLM) pueden simular curvas de aprendizaje humanas como estudiantes, su eficacia como tutores directos aún deja mucho que desear, con una precisión de entre 52% y 70% en la generación de acciones correctas.
A pesar de sus limitaciones actuales al etiquetar acciones correctas e incorrectas, el potencial de los LLM para simular seres humanos es significativo. TutorGym ofrece un entorno en el cual evaluar estos modelos junto con modelos de refuerzo y otros modelos computacionales de aprendizaje. Actualmente, TutorGym incluye 223 dominios de tutoría diferentes, abriendo la puerta a investigaciones futuras que podrían incluso superar a los métodos tradicionales de tutoría automatizada en efectividad.
El enfoque modular de TutorGym también permite que este sistema se expanda para incorporar a más plataformas de tutoría en el futuro, siendo extensible para Tutores CTAT, Apprentice y OATutor. Una de las evaluaciones indicativas sugirió que los LLM pueden, de hecho, imitar curvas de aprendizaje humanas, aunque sus acciones como tutores suelen ser acertadas solo por debajo de las expectativas.
La facilidad para evaluar tanto LLM como modelos de estudiantes simulados con TutorGym promete avances en la personalización y automatización de los sistemas educativos. Aunque ahora mismo las evaluaciones muestran que ninguna de las LLM probadas supera al tutor humano en la personalización del aprendizaje, sienta las bases para una mejor integración de las IA como futuras herramientas pedagógicas.
La innovación de TutorGym radica en armonizar IA dentro de ambientes de aprendizaje ya operativos, promoviendo una evaluación más rica de las habilidades de tutoría automatizada y optimizando el camino hacia la democratización del aprendizaje personalizado.